首页 新闻 荣登CLUE榜首,腾讯云NLP超大模型解决方案再升级

企业新闻

荣登CLUE榜首,腾讯云NLP超大模型解决方案再升级

日期:2022年05月08日

       近来, 腾讯云AI与腾讯优图实验室的加快团队在CLUE言语分类使命上进行实验, 一举在CLUE分类使命1.0和1.1中拿下业界榜首的好作用。(HUMAN为人类标示作用, 非模型作用, 不参加排名。)怎么与AI进行无障碍的对话?近年来跟着人工智能的开展, NLP(自然言语处理)一直是业界外重视的焦点, 其间预练习模型(Pre-TrainedModel, PTM)络绎不绝作为当下最具有革命性的立异作用, 正成为国内外互联网企业探究的要点, 构建以中文为中心的超大规模预练习模型及生态势在必行, 各大公司在反哺本身事务的一起纷繁向CLUE榜单建议“冲击”。CLUE是中文言语了解范畴最具权威性的测评基准之一, 涵盖了文本类似度、分类、阅览了解等很多语义剖析和了解类子使命。作为“刷榜利器”的预练习模型便是经过在大规模文本上会聚很多算力, 不断集约化地练习大模型, 预练习出通用的言语特征, 就可以供给给很多企业运用,

大大降低了自然言语处理研讨和使用的门槛。“工欲善其事, 必先利其器”腾讯云TI渠道是根据腾讯云强壮核算才能的一站式机器学习生态服务渠道。它可以对各种数据源、组件、算法、模型和评价模块进行组合, 使得算法工程师和数据科学家在其之上可以方便地进行模型练习、评价和猜测。TI系列产品支撑公有云拜访、私有化布置以及专属云布置。TI-ACC是腾讯云AI和优图实验室最新发布的一款AI加快组件产品, 是根据优图实验室开源的跨渠道高功能推理结构TNN和练习结构(TI系列)基础上的一次全新晋级, 能一起为企业供给 AI 模型练习和推理加快服务, 支撑多种结构和场景, 可以明显进步模型练习推理注视、降低成本。
       本次大模型的预练习彻底依托于腾讯云TI渠道,

并斑驳陆离TI-ACC进行练习加快。全体的练习计划如下:首要, 模型的超卓作用离不开背面海量优质中文预练习语料的支撑。腾讯云团队在TI渠道上构建了海量语料的预处理、清洗和评价使命, 汇集了小说、新闻、社区谈论等的不同范畴的优质内容, 以及各学科论文、使用描绘等专业性较强的特定内容, 筛选出数百GB高质量中文语料, 保证数据“来历广”且“质量精”。
       在此基础上, 针对NLP超大模型的特色和存在的问题, 腾讯云团队结合底层基础设施在单机核算功能和多机扩展两方面进行了深度优化。在核算功能优化方面, TI-ACC对Transformer结构模型进行了稀少化核算、算子交融、动态文本长度输入等优化。在多机扩展上, 斑驳陆离了Zero-DP络绎不绝结合反向图显存节约、大模型参数多轮通讯、使用层NCCL通讯优化和参数主动调优等优化手法。终究, TI-ACC可以高效练习千亿级参数的NLP大模型, 极大的提升了模型预练习注视。此外, 咱们在模型上对Transformer结构做了微调,

再加上渐进式的课程学习练习计划, 使得大模型可以更快学会更多的常识。
       此次登顶CLUE榜单, 一方面代表了腾讯云在NLP生态范畴达到了业界领先水平,

另一方面预示着TI-ACC助力中文预练习模型在高效练习和推理方面迈上新台阶。
       

相关新闻

  • 2022-05-08 20:38:30

    华为发布HarmonyOS Connect品牌升级计划 帮伙伴做好产品、卖好产品、运营好产品

    5月18日,HarmonyOSConnect同伴峰会于上海举行,正式宣告了HarmonyOSConnect品牌晋级方案,协助协作同伴做好产品、卖好产品、运营好产品。HarmonyOS—华为全场景才智生态的底座“HarmonyOS是华为面向万物互联年代打造的智能终端操作体系,为不同设备的智能化、互联与......

  • 2022-05-06 21:35:44

    喜之郎不含果含防腐剂

    山东媒体推出卧底暗访报导,引发大众对喜之郎产品的食用安全疑问——喜之郎纯果冻不含“果”却含防腐剂?记者李岩文李文波图5月31日,山东《城市信报》推出对喜之郎南京公司卧底暗访的报导,指出喜之郎部分产品不含“果”却含有防腐剂问题,让这个青少年耳熟能详的品牌深陷质量危机,现在在郑销量现已遭到必定程度影响。......

  • 2022-05-14 14:26:09

    这个七夕,有没有男友不重要,有“男友力”就够了

    又是一年七夕,看着别人家男朋友又是送礼物又是订餐厅,恐怕茕居的小仙女们再刚强心头也会滑过一丝异常。不是吧不是吧,莫非没有男友就不能安生过七夕?当然不是,没有男友,也能轻松感触男友力,并且一年365天,每天24小时,不会有一秒缺席。他,外形巨大健壮,心里却详尽关心,来到你身边之前就为自己的“心”上了N......

联系我们