论文
2D-RoPE让模型复制长文本更精准
发布时间：
信源：X：Rohan Paul (@rohanpaul_ai)
分享XFacebook微博
前沿大语言模型在解决高级推理任务时，仍无法精确复制长重复字符串，且输入越长或重复模式越多，复制越不可靠。研究发现，标准1D RoPE位置编码是部分原因，而2D-RoPE将源文本与输出视为独立行，使对应token对齐在同一列。在合成测试中，仅训练长度1-100的单层模型在长达1000倍的输入上完美复制，该优势在1.4B参数预训练模型上同样出现，但当前设计仍依赖换行符，非通用解决方案。
阅读原文 （在新窗口打开）
资讯动态数据由 AI HOT 聚合提供
相关资讯同类最新动态
· Hacker News 热门（buzzing.cc 中文翻译）
· The Decoder：AI News（RSS）
· X：Rohan Paul (@rohanpaul_ai)
· X：Rohan Paul (@rohanpaul_ai)
· X：小互 (@xiaohu)