
Google Research 提出“睡眠框架”,在持续学习中增加离线睡眠阶段,让大语言模型把短期上下文巩固为长期参数,缓解灾难性遗忘。
模型在主动交互与离线巩固间周期切换,在 1000 万 token 长上下文、持续翻译、数学推理等测试中超过 GPT-4、SFT 等基线。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END


Google Research 提出“睡眠框架”,在持续学习中增加离线睡眠阶段,让大语言模型把短期上下文巩固为长期参数,缓解灾难性遗忘。
模型在主动交互与离线巩固间周期切换,在 1000 万 token 长上下文、持续翻译、数学推理等测试中超过 GPT-4、SFT 等基线。
暂无评论内容