-
如何向大规模预训练语言模型中融入知识？
本文关注于向大规模预训练语言模型（如RoBERTa、BERT等）中融入知识。提出了一种灵活、简便的知识融入框架K-Adapter，通过外挂知识插件的方式来增强原模型，缓解了知识遗忘的问题、且支持连续知识学习。本文提出的模型在三种知识...
-
「大型语言模型评测」综述
预训练语言模型的规模越来越大,参数量从开 始的亿级,发展到目前的千亿级甚至万亿级。随着 规模的扩大,模型在无须对具体任务适配的情况下, 解决下游任务的能力也迅速提升。但与此同时,模 型...
-
为什么大型语言模型都在使用 SwiGLU 作为激活函数？
这对于大规模语言模型的训练和推理是很重要的考量因素。选择 SwiGLU 作为大语言模型的激活函数，主要是因为它综合了非线性能力...
-
ChatGPT 类大语言模型为什么会带来“神奇”的涌现能力？
本文整理自 3 月 11 日 「ChatGPT 及大规模专题研讨会」上，来自新浪微博新技术研发负责人 张俊林 《大型语言模型的涌现能力：现象与解释》的分享，介绍了大语言模型中的涌现现象...
-
深入理解生成型大型语言模型：自监督预训练、细调与对齐过程及其应用
本文探讨了生成型大型语言模型的预训练方法，包括自监督学习的下一个令牌预测，以及细调和对齐过程以增强模型性能。强调了大型模型、数据规模和计算成本的重要性，并指出如何应用于下游任务以...
-
今天聊聊大规模预训练语言模型PLM
此外，通过迁移学习、蒸馏学习等技术，可以将一个大型的PLM模型压缩成一个更小的模型，从而降低计算资源需求和模型部署的成本。总之，大规模预训练语言模型PLM是当前NLP领域的重要研究方向，它...
-
大语言模型的持续预训练
本文的研究背景是 大型语言模型 的预训练过程通常需要从头开始，耗时耗力。作者试图探索如何使这些模型能够持续预训练，即在新数据到来时更新预训练模型，而不是重新训练。过去的方法要么是从头开始训练，要么是使用低成本的超参数优...
-
大模型如何可解释？新泽西理工学院等最新《大型语言模型可解释性》综述
本文旨在全面整理关于解释复杂语言模型的最新研究进展。LLMs的训练范式LLMs的训练可以基本分为两个范式，传统微调和提示，根据它...
-
什么是大型语言模型? 大型语言模型是否对盗版内容进行了训练
人们提出的一个问题是，像ChatGPT这样的大型语言模型是否接受过盗版内容的训练。本文将探讨这个问题，并阐明用于训练这些模型的数据的来源。我们还将讨论训练大型语言模型对盗版内容的道德影响...
大语言模型就是大型预训练
相关内容浏览更多安心，自主掌握个人信息!
我们尊重您的隐私，只浏览不追踪
