深网财经科技2025年12月25日 13:09消息，探讨如何通过中文数据集提升大模型对中国话的理解能力。
“过马路时，你要注意看车！”
“我计划明天去车展看车。”
这两句话里的“看车”是否是一个意思呢？相信不少人会心一笑。表面上看是同一个词组，但其含义因语境不同而发生了变化。 作为一名新闻评论者，我认为这种语言现象在日常交流中十分常见，也反映出汉语表达的灵活性和丰富性。在特定语境下，“看车”可以指实际观察车辆，也可以引申为对某人或某事的审视与评价。这种多义性既体现了语言的生动性，也提醒我们在理解信息时需结合具体情境，避免产生误解。
这就是中文中常见的“一词多义”现象。人工智能大模型作为一种与人类语言紧密相关的技术，要使其能够深刻理解这一现象，离不开持续的中文数据支持。 在当前的技术发展背景下，中文语料的丰富性和多样性对于提升大模型的语言理解能力至关重要。只有通过不断积累和优化中文数据，才能让AI更准确地把握词语在不同语境下的含义，从而实现更自然、更精准的交流与互动。
目前，国内多数模型在训练过程中所使用的数据中，中文数据的比例已经超过60%，部分模型甚至达到80%。在大模型的训练中，中文数据占比的提升具有重要意义。为何中文高质量数据持续增多？如何进一步拓展中文数据的开发与供给？记者对此进行了采访。
数据就像大模型的“知识教材”
不同语言的数据对大型模型的性能会产生怎样的影响？“数据就像是大模型的‘知识教材’，教材的语言特性不同，会对模型的知识结构带来不同的影响。”清华大学计算社会科学与国家治理实验室执行主任、教授孟庆国表示。
从知识来源来看，过去我国大模型在发展过程中常面临“数据依赖”的风险。由于英文数据在全球互联网中占比较高，许多前沿科技论文、行业标准以及文化典籍等高质量内容多以英文呈现，全球范围内的高质量标注数据也主要来自英文语料。这在一定程度上影响了中文大模型在知识覆盖和语言理解上的全面性与准确性。
“语言类大模型通常需要遵循一定的语言习惯。”工业和信息化部信息通信经济专家委员会委员盘和林指出，随着中文数据占比的提升，不仅有助于用户更好地理解模型输出的内容，也有助于增强和提升我国在大模型领域的研发实力。 从行业发展趋势来看，加大中文数据的投入，不仅是技术层面的优化，更是文化自信的体现。中文作为我国的主要语言，其数据积累和应用对于构建更符合本土需求的AI系统具有重要意义。同时，这也为国内企业在大模型领域的发展提供了更多自主权和话语权，有助于推动整个行业的良性竞争与创新。
“若中文数据占比低，模型在关键技术迭代中易受‘数据授权限制’‘更新延迟’等影响。”孟庆国说，中文数据占比提高，助力我国在“数据安全”“技术自主”上迈出关键步伐，有利于我国掌握大模型发展主动权。
“中文数据中独有的文化习惯、隐喻表达、政策术语等在英文数据中难以得到体现。模型长期学习英文数据，所形成的‘英文式认知逻辑’，在理解中文特有的思维方式时容易出现偏差。”科大讯飞消费者AI交互业务部总经理赵艳军介绍，中文数据比重的提升，增强了大模型对中华文化及中国场景的理解能力。比如中医问诊时，“上火”“湿气”等概念需要中文语境才能准确推理。
从知识传承看，中文数据承载着我国数千年的文化积累，中文数据占比提高，能让大模型推动中华文化的数字化传播。“中文数据占比高的模型能讲解‘文言文虚词用法’‘诗词平仄规律’等。比如，在解释‘之乎者也’时，结合《论语》《孟子》等中文典籍案例，让传统文化教育更生动。”孟庆国说。
中文高质量数据供给能力不断增强
中文普通数据与中文高质量数据存在明显差异。普通数据通常来源于未经审查的网络文本或非专业内容，容易出现事实性错误或概念上的混淆。而高质量数据则需要经过“事实核查”和“专业审核”，确保其语义准确，并且具备可追溯的来源。
要理解中文高质量数据的重要性，可以从医疗诊断这一专业领域入手。今年8月，中文临床医学知识图谱“磐医知识图谱”在浙江台州正式发布。目前，一些大模型所学习的医学知识来源于互联网公开数据，而这些数据中存在不严谨、矛盾或更新滞后的现象，这些问题都可能对大模型生成的结果产生不良影响。浙江省全省医疗智能决策重点实验室主任林辉表示，“磐医知识图谱”的数据均由医学专家进行审核，每个知识点都有明确的来源，并且能够动态更新最新的医学进展。
大模型性能的提升，凸显了中文高质量数据的重要价值。在多种因素共同推动下，中文高质量数据的供应能力持续提高——
政策有支持。从《“数据要素×”三年行动计划（2024—2026年）》提出“打造高质量人工智能大模型训练数据集”，到国家数据局布局建设数据标注基地，政策利好下，大量中文高质量数据集加速建设。
技术有突破。中文数据因“歧义多、语境依赖强”，早期标注成本是英文数据的1.8—2.5倍，随着技术不断进步，开发难度也在降低。例如，国内某“中文语义标注系统”已可自动区分“打毛衣”“打电话”中“打”的含义，让标注效率提升了3倍，且成本有效降低。
行业有共识。国内垂直场景对“中文适配”大模型的需求不断升温，推动中文数据从“辅助补充”变为“核心资源”，更多企业参与到中文数据的开发之中。如中国移动已建成覆盖超30个行业、超3500TB的通用高质量数据集。
协同建标准，细分多场景
Token（通常所说的“词元”）是文本处理中的基本数据单位。数据显示，2024年初，我国日均Token消耗量为1000亿，截至今年9月底，这一数字已超过40万亿。这些数据的背后，反映出中文数据资源的迅速积累与价值的持续释放。
如何进一步提升中文数据的开发与供应？专家学者提出了各自的见解和建议。
首先是从建立标准入手。当前的中文数据中，重复内容较多，而高质量的数据却相对匮乏，尤其是在医疗、工业等垂直领域，优质数据尤为稀缺。例如在医疗数据方面，有的医院记录病历时只写“发烧”，而有的则会详细记录“发烧38.5摄氏度、伴有咳嗽2天”。如果没有统一的标准来衡量数据质量，后续的开发工作就难以顺利进行。
明确了不同领域的中文标注标准后，更有利于推动评价与激励机制的建设和完善。孟庆国指出，应加快研究制定中文数据分级标准，以进一步激发中文数据的供给活力。 在当前数据驱动的发展背景下，统一和规范的标注标准是提升数据质量与应用效率的关键。而数据分级标准的建立，不仅有助于分类管理，还能为后续的数据流通、共享与价值挖掘提供制度保障。这不仅是技术层面的优化，更是推动整个中文数据生态健康发展的必要举措。
其次是强技术。高质量数据集的建设过程中仍不可避免会遇到大量数据孤岛和合规难题，比如，不同机构的数据因为隐私安全等合规要求，难以跨域流通，导致各机构重复开展数据标注，既浪费资源，又无法形成规模效应。
“可推广使用新一代标注技术，在原始数据不离开本地且确保隐私安全的前提下，实现跨机构的协同标注，从而汇聚多方机构的力量，减少重复性工作。”赵艳军表示。
我国产业体系完善，其广度和深度决定了对更多细分场景中文数据的需求。例如，在元宇宙等新兴场景中，中文数据的使用量仅为英文的1/5；又如，中医、非遗等传统领域数字化程度较低，大量珍贵信息尚未转化为可用的数据资源。孟庆国表示，应推动政府、高校、科研机构、企业等多方协同合作，专项采集各类垂直领域的中文数据，激活其在产业中的应用价值。
推进文化和科技融合
“十五五”规划建议提出，“推进文化和科技融合”。探索文化和科技融合的有效机制，需要用互联网思维和信息技术改进文化创作生产流程，推动文化建设数智化赋能、信息化转型。
“文化IP科技体验”正在重塑文旅产业生态。通过线上数字平台与线下沉浸式场景的深度融合，各地正积极构建数字文旅空间，并推出“旅游智能体”等新型应用，推动文化和科技实现双向赋能。“文化创作人工智能”拓展了产业融合的新场景。目前，以大模型为代表的AI技术已与影视、文博等多个领域深度结合，催生出如AI短剧、博物馆数字文创等新兴产品，不仅丰富了文化表达形式，也创造了更多文化消费新场景。“特色文化数字技术”助力乡村全面振兴。借助数字技术，将地标农产品、乡村非遗技艺等融入微短剧等内容创作中，有助于提升特色文化产品的创意水平和表现力，为乡村振兴注入新的动力。
——北京大学文化产业研究院学术委员会主任陈少峰
《人民日报》（2025年12月25日07版）
