中国初步建成大规模藏语数据资源库

发布时间:2024-11-02 02:16:46 来源: sp20241102

   中新社 西宁5月25日电 (记者 孙睿)记者25日从青海师范大学省部共建藏语智能信息处理及应用国家重点实验室获悉,该实验室已初步建成600TF算力的智算平台和面向多领域多用途的大规模藏语数据资源库。

  青海师范大学省部共建藏语智能信息处理及应用国家重点实验室2021年2月经中国科技部批准建设,是中国唯一的藏语信息处理领域国家重点实验室。实验室拥有5000平方米的科研用房和1.5亿元人民币的专业研发设备。

  该实验室主任赵海兴介绍,近年来,实验室构建了藏文百科知识、新闻、经济、文化艺术等多领域文本语料40G以上,藏语语音数据15000小时、各类文化资源近2万件,规模达到1600GB,是目前国内外最大的基于国标的大型标注语料库,对中国涉藏地区教育、语言研究以及社会文化发展起到积极推动作用。

  同时,该实验室还构建了大规模藏汉平行语料库,并通过迭代式回译策略等进行数据增强及质量评价,训练了融合单语语言模型和注入双语词典信息的深度神经网络翻译模型,在新闻、法律等领域准确率达90%以上。

  此外,该实验室还搭建藏文文献资源数字化协同工作平台,构建文献图文对照数据150余万文本行,复杂场景图文资源220万个,开展藏文印刷字体、复杂场景藏文区域检测研究,自动检测视频帧中的文字区域,并将其分割成单个字符或行文本。利用深度学习对分割处理后的文本进行识别,实现了藏文文献标准体和手写体扫描识别系统、藏语视频流复杂场景中的藏文识别。(完) 【编辑:刘欢】