网易首页 > 新闻中心 > 正文

智源研究院联合共建单位发布中文互联网语料库

0
分享至

中证网讯(记者 彭思雨)11月29日,智源研究院联合拓尔思等共建单位发布并开源可信中文互联网语料库(CCI v1.0.0)。该中文互联网语料库数据规模达104GB,语料库时间跨度在2001年1月至2023年11月。语料库数据主要来源于地市级以上政府门户网站、重点新闻网站、中央和地方报刊杂志、出版社等。

北京智源人工智能研究院副院长兼总工程师林咏华表示,数据决定了大模型的智力边界,已有的中文语言大模型采用的开源数据大多来自海外开源数据集。国际数据集中的中文内容占比较少,基于这些语料库训练的大模型始终是“英文思维”。建设高质量中文语料库能够从本源上解决大模型数据安全问题,保障我国大模型产业健康发展。

林咏华称,现阶段高质量语料库工作完成了第一阶段中文互联网语料库建设。第二阶段将建设综合数据集,联合建设大规模高质量文本、语音、图像、视频和多模态数据集,用于训练数据、合规性检测等方面;第三阶段将建设行业数据集,面向大模型行业应用需求,汇聚形成自动驾驶、医学文本和影像、计算机代码、网络安全等数据资源库,把生成式人工智能技术转化为生产力,支持重点行业智能化升级。

中证网声明:凡本网注明“来源:中国证券报-中证网〞的所有作品,版权均属于中国证券报、中证网。中国证券报-中证网与作品作者联合声明,任何组织未经中国证券报、中证网以及作者书面授权不得转载、摘编或利用其它方式使用上述作品。

相关推荐
热点推荐
彻底翻脸!中国关闭和谈大门,外媒:这招太狠了!

彻底翻脸!中国关闭和谈大门,外媒:这招太狠了!

趣说世界哈
2024-07-14 13:26:48
普京再次提出新的和谈条件,乌克兰只要答应,就能立刻结束战争

普京再次提出新的和谈条件,乌克兰只要答应,就能立刻结束战争

虎哥说航天
2024-07-12 06:20:03
从天堂到地狱只需17分钟!郭有才千万粉丝见证史上最魔幻网红直播

从天堂到地狱只需17分钟!郭有才千万粉丝见证史上最魔幻网红直播

娱乐的小灶
2024-07-14 21:16:17
马斯克:一面是天才一面是疯子,从小混乱的家庭关系让他无法正常

马斯克:一面是天才一面是疯子,从小混乱的家庭关系让他无法正常

照见古今
2024-01-06 18:43:16
突发,突发!
乌克兰全面撤退!

突发,突发! 乌克兰全面撤退!

仰望沧海
2024-07-14 19:35:41
女子泰国被杀后续,身份被扒不简单,生前疑遭多人折磨,更多隐情

女子泰国被杀后续,身份被扒不简单,生前疑遭多人折磨,更多隐情

贾文彬的史书
2024-07-14 17:21:31
没义务搭救!澎湃新闻这一文章标题让人目瞪口呆,被全网喷反人性

没义务搭救!澎湃新闻这一文章标题让人目瞪口呆,被全网喷反人性

鲁八两
2024-07-11 00:45:52
今夜3点,欧洲杯决赛之夜:世界第5奔向首冠,世界第8夺冠=创历史

今夜3点,欧洲杯决赛之夜:世界第5奔向首冠,世界第8夺冠=创历史

侃球熊弟
2024-07-14 06:10:02
孤男寡女!美国滞留太空宇航员超一个月,女的开心男的不乐意

孤男寡女!美国滞留太空宇航员超一个月,女的开心男的不乐意

橘色数码
2024-07-13 08:30:31
一汽丰田全新亚洲龙上市,17.88万元起售

一汽丰田全新亚洲龙上市,17.88万元起售

新京报
2024-07-13 17:48:15
疯狂斩首行动!黎真主党三大司令同时遇害

疯狂斩首行动!黎真主党三大司令同时遇害

趣说世界哈
2024-07-14 13:22:34
外国游客吐槽中国:不用英语交流,英文标识太少,景区体验感差

外国游客吐槽中国:不用英语交流,英文标识太少,景区体验感差

蒋飞Talk
2024-07-12 21:36:44
今年最惨淡的行业是啥?万万没想到是这几个行业!没有最惨只有…

今年最惨淡的行业是啥?万万没想到是这几个行业!没有最惨只有…

奇特短尾矮袋鼠
2024-07-03 06:52:18
“阳朔西街男子疑似猥亵多名女性,5分钟内至少4人被骚扰?” 桂林阳朔发布情况通报

“阳朔西街男子疑似猥亵多名女性,5分钟内至少4人被骚扰?” 桂林阳朔发布情况通报

环球网资讯
2024-07-14 16:11:03
不要再尬吹了!美国军队眼中真实的中国电子战水平,颠覆国人想象

不要再尬吹了!美国军队眼中真实的中国电子战水平,颠覆国人想象

风起云间
2024-07-12 21:48:37
费迪南德:C罗不进球就让他滚是不尊重!梅西没进球我没听到指责

费迪南德:C罗不进球就让他滚是不尊重!梅西没进球我没听到指责

直播吧
2024-07-14 19:54:00
高考“捡漏王”出炉,361分上岸985引人羡慕,提前批卧虎藏龙

高考“捡漏王”出炉,361分上岸985引人羡慕,提前批卧虎藏龙

熙熙说教
2024-07-14 16:15:16
英格兰本周日的决赛胜率82.4%,是近七天中最高的一次

英格兰本周日的决赛胜率82.4%,是近七天中最高的一次

直播吧
2024-07-15 01:24:06
怒了!英国游客吐槽广州堪比印度,当地人居住环境差,满地流浪汉

怒了!英国游客吐槽广州堪比印度,当地人居住环境差,满地流浪汉

校长侃财
2024-07-14 14:32:51
被抓了?真相揭晓,为何中国奥运冠军在已达标的情况落选奥运名单

被抓了?真相揭晓,为何中国奥运冠军在已达标的情况落选奥运名单

尘语者
2024-07-14 11:02:14
2024-07-15 01:34:44

头条要闻

向特朗普开枪的枪手曾获国家数学和科学计划明星奖

头条要闻

向特朗普开枪的枪手曾获国家数学和科学计划明星奖

体育要闻

欧洲杯终局悬念:玄学硬度看生死

娱乐要闻

黄子韬徐艺洋官宣恋情 晒亲吻照超甜蜜

财经要闻

无人驾驶的士最快5年内大规模商业化

科技要闻

200亿估值后,月之暗面们的考验真正开始

汽车要闻

宾利全新欧陆GT亮相古德伍德 第三季度开始交付

态度原创

时尚
教育
艺术
亲子
游戏

黄子韬官宣恋情,怎么全网都在骂?

教育要闻

孩子放学在家就做一件事 比给他补课强100倍

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

亲子要闻

被宝宝委屈的眼神萌化了,刚打完疫苗 委屈的眼泪汪汪,网友:现在立刻马上哄她

梦幻西游钓鱼游戏两不误,成功妙手空空还能被躲?

无障碍浏览 进入关怀版