OpenAI开启考察：GPT

1月20日新闻，据报道，OpenAI宣布事变讲演指出，以后遭受GPT-4o跟4o-mini模子机能降落成绩，现在正在停止考察，并将尽快宣布最新新闻。近期，科研职员翻新性地推出了一项名为LONGPROC的基准测试东西，该东西专为评价模子在处置长高低文中的庞杂信息并天生响应复兴的才能而计划。试验成果略显不测：包含GPT-4o在内的浩繁顶尖模子，固然在惯例长高低文回想基准测试中表示优良，但在应答庞杂的长文本天生义务时，仍裸露出明显的改良需要。详细而言，只管全部参测模子均声称其高低文窗口巨细超越32K tokens，但现实情形却天壤之别。开源模子在处置仅含2K tokens的义务时便露出疲态，而诸如GPT-4o等闭源模子，在应答8K tokens义务时机能也显明下滑。以GPT-4o为例，在请求其天生具体游览计划的义务中，即使供给了明白的时光节点跟直飞航班信息，模子的输出成果中仍呈现了不存在的航班信息，即发生了“幻觉”景象。试验进一步提醒，即使是最前沿的模子，在天生连接且漫长的内容方面仍存在较年夜晋升空间。特殊是在须要输出8k tokens的义务中，即使是参数宏大的进步模子也未能幸免于难，这或者预示着将来年夜型言语模子（LLM）研讨的一个极具潜力的偏向。