攻打DeepSeek最单薄的处所：会涌现什么好玩的事件

DeepSeek跟o1/o3一类推理年夜模子连续带来震动之际，有人开端研讨他们的缺点了。最新研讨提醒：在碰到高难度成绩时，推理年夜模子可能像“见异思迁的先生”一样频仍切换解题思绪，却因缺少深刻摸索而掉败——这种景象被研讨者称为Underthinking（欠思考）。研讨团队来自腾讯AI试验室、姑苏年夜学跟上海交通年夜学，重要研讨工具是开源的DeepSeek-R1跟Qwen QwQ系列模子。经由过程剖析AI的过错谜底，他们发明以后的推理年夜模子常常在思考晚期就走上了准确的道路，但偏向于“浅尝辄止”，很快开端摸索其余思绪，招致后续天生的数千个tokens对解题毫无奉献。这种“有效尽力”不只挥霍盘算资本，还明显下降了谜底的准确率。“见异思迁”是祸首罪魁这一景象在处理数学比赛题等更为庞杂义务时尤为显明。为了体系剖析，团队在三个存在挑衅性的测试集MATH500、GPQA Diamond跟AIME2024上，对类o1模子QwQ-32B-Preview、DeepSeek-R1-671B等停止了试验。下图比拟了准确跟过错答复中的token应用量跟头脑切换次数。均匀来看，类o1模子在过错答复中比准确答复多耗费了225%的token，起因是头脑切换频率增添了418%。为了深刻剖析这一景象，研讨团队开辟了一套评价框架，用于断定被废弃的推理门路能否现实上足以推导出准确谜底。成果察看到，很多模子在答复扫尾阶段的思绪是准确的，但并未持续深刻实现推理。超越70%的过错答复中至少包括一个准确的思绪。别的，在超越50%的过错答复中，有10%以上的思绪是准确的。如下图所示的例子，比方，Thought 1经由过程辨认给定方程相似于以(0,0)跟(20,11)为核心的椭圆方程，启动了准确的说明。将两个表白式设为相称，是寻觅满意这两个方程的大众点(x, y)的无效方式。但是，模子并未专一于深刻摸索这一公道思绪，应用进一步的代数操纵跟优化技巧停止剖析，而是频仍切换思绪，额定耗费了约7270个token，却仍然未能得出准确谜底。终极，它得出一个缺少扩大COT进程支撑的猜想谜底。基于这些察看，研讨职员提出了一个用于量化Underthinking水平的指标（Underthinking Metric）。这个指标经由过程丈量过错谜底中的token应用效力来评价推理效力，盘算从答复开端到第一个准确思绪呈现所需的token数目与总token数目的比值。试验成果标明，全部测试的类o1模子都存在明显的头脑缺乏成绩。模子的正确率与头脑缺乏之间的关联在差别数据集上表示各别。在MATH500-Hard跟GPQA Diamond数据集上，机能更优的DeepSeek-R1-671B模子在获得更高正确率的同时，其UT得分也更高，标明过错答复中存在更多头脑缺乏。这象征着，只管模子团体才能更强，但在不断定时可能天生更长但效力较低的推理进程，可能是由于模子摸索了多个过错的推理门路，却未能无效收敛到准确解答。相反，在AIME2024测试会合，DeepSeek-R1-671B模子不只获得了更高的正确率，还表示出较低的UT得分，反应出较少的头脑缺乏跟更高的token效力。这标明模子在该义务中，即便未得出准确谜底，其推理进程仍然坚持专一跟高效，团队表现这可能是由于模子与 AIME2024所请求的成绩范例跟推理进程更好地对齐。懂得头脑缺乏景象对开辟可能供给准确谜底并具有无效推理进程的模子至关主要。怎样让AI学会“二心一意”怎样让模子像优良先生一样“沉下心来研究”？研讨者鉴戒了人类测验战略，提出了一种“思绪切换处分机制” （Thought Switching Penalty，TIP）。其道理相似于测验时给本人定例矩：“先专一以后方式，至少实验10分钟再换思绪”。技巧细节上，TIP会对触发思绪切换的要害词施加处分，下降这些词在解码进程中的天生概率，迫使模子在以后门路上摸索更久。比方，当模子开端写“Alternatively, we can consider…”时，TIP会经由过程调剂参数（处分强度α跟连续时光β），克制这种过早的切换偏向。试验成果表现，参加TIP能让模子在数学测试上的正确率回升，同时UT Score降落，阐明既增加了有效切换，又进步了谜底品质。比方在AIME2024数学比赛测试上，参加TIP的QwQ-32B-Preview模子正确率从41.7%晋升至45.8%，同时UT Score从72.4降至68.2。而且这种“无痛进级”无需从新练习模子，仅需调剂解码战略，展示了实在用代价。One More ThingUC Berkeley教学Alex Dimakis多少乎同时候享了相似的察看，对DeepSeek-R1跟全部推理模子，过错的谜底更长，而准确的谜底要短得多。基于此，他们提出一个简略的处理措施，称为“简练解码” （Laconic decoding）。并交运行5次模子，从谜底当选择tokens起码的。开端试验成果表现，简练解码在AIME2024测试上能进步6%-7%的正确率，比Consensus Decoding更好也更快。论文地点：https://arxiv.org/abs/2501.18585参考链接：[1]https://x.com/tuzhaopeng/status/1885179412163027406[2]https://x.com/AlexGDimakis/status/1885447830120362099