童元领航请求交融提示向量和常识点把握度的学习大模型后练习方法专利改善根底注意力公式融入适配器

  国家常识产权局信息数据显现，童元领航（上海）智能科技有限公司请求一项名为“交融提示向量和常识点把握度的学习大模型后练习方法”的专利，公开号CN121279394A，请求日期为2025年9月。

  专利摘要显现，本发明公开了交融提示向量和常识点把握度的学习大模型后练习方法，首要对常识系统拆解，确认提示向量维度，树立常识与向量维度映射，结合答题数据核算把握度向量，拼接生成含特性化状况的扩展提示向量，与原始样本拼接为模型输入；其次构建常识图谱并以邻接矩阵表征相关，借把握度核算节点重要性挑选特性化子图，为多头注意力规划适配器参数，改善根底注意力公式融入适配器，结合把握度、相关矩阵动态调整，引进学习途径偏好生成交融注意力，再用混合策略初始化适配器并依把握度调学习率；最终以穿插熵丢失量化猜测与标签差异，冻住模型主体、敞开要害参数练习，借反向传达算梯度，分参数设根底学习率并依常识类型动态调整，用梯度下降迭代更新参数。

  天眼查资料显现，童元领航（上海）智能科技有限公司，成立于2025年，坐落上海市，是一家以从事科技推广和使用服务业为主的企业。企业注册资本100万人民币。经过天眼查大数据分析，童元领航（上海）智能科技有限公司产业线条。

  声明：商场有危险，出资需谨慎。本文为AI根据第三方数据生成，仅供参考，不构成个人出资主张。