腾讯申请“大语言模型训练方法”专利，提升模型泛化能力与准确性

天眼查App显示，腾讯科技（深圳）有限公司近日申请了一项名为“大语言模型的训练方法、装置、计算机设备及存储介质”的专利。这项专利的摘要揭示了该方法通过引入第一摘要文本和第二摘要文本，在大语言模型的训练过程中为模型提供更多可学习的信息。

qq20250210-103054.png" alt="QQ20250210-103054.png" style="box-sizing: border-box; outline: 0px; border: 1px solid rgb(238, 238, 238); --tw-shadow: 0 0 #0000; --tw-ring-inset: var(--tw-empty, ); --tw-ring-offset-width: 0px; --tw-ring-offset-color: #fff; --tw-ring-color: rgba(41, 110, 228, 0.5); --tw-ring-offset-shadow: 0 0 #0000; --tw-ring-shadow: 0 0 #0000; max-width: 700px; background: url("../img/bglogo2.svg") center center no-repeat rgb(247, 248, 249); box-shadow: rgba(27, 95, 160, 0.1) 0px 1px 3px; display: inline-block; margin: 0px auto;"/>

根据专利描述，第一摘要文本和第二摘要文本所包含的信息量不同，其中第一摘要文本中还包含了正确语句和错误语句。通过对同一文本的这两个不同摘要进行对比学习，并区分学习其中的正确语句与错误语句，能够有效避免摘要文本单一可能导致的模型过拟合和生成不准确等问题。

腾讯 (2) (图片来源图虫：已授站长之家使用)" alt="腾讯 (2)" style="box-sizing: border-box; outline: 0px; border: 1px solid rgb(238, 238, 238); --tw-shadow: 0 0 #0000; --tw-ring-inset: var(--tw-empty, ); --tw-ring-offset-width: 0px; --tw-ring-offset-color: #fff; --tw-ring-color: rgba(41, 110, 228, 0.5); --tw-ring-offset-shadow: 0 0 #0000; --tw-ring-shadow: 0 0 #0000; max-width: 700px; background: url("../img/bglogo2.svg") center center no-repeat rgb(247, 248, 249); box-shadow: rgba(27, 95, 160, 0.1) 0px 1px 3px; display: inline-block; margin: 0px auto;"/>

该方法的创新之处在于提升了模型的泛化性能，并有效提高了模型的准确性。通过引入多样化的摘要文本内容，腾讯的这一训练方法为大语言模型的训练过程带来了更高效、更精准的提升。