高度なAIモデル「GPT-5.6 Sol」は、数学の未解決問題を解く成果を上げた一方で、2Dパズルゲームのベンチマーク「ARC-AGI-3」では思うように実力を発揮できていなかった。その原因は「知能の限界」ではなく、APIの設定と実行環境（ハーネス）の設計にあったことが分かってきた。
GPT-5.6 Solとは何か
数学の未解決問題も解く先端モデル
GPT-5.6 Solは、大規模言語モデル（LLM）の一種で、特に数学や論理推論に強みを持つとされるモデルだ。報告によれば、これまで人間の研究者が長年取り組んできた数学の未解決問題の一部を解くなど、理論研究の分野で成果を上げている。
このことから、GPT-5.6 Solは「抽象的な推論」や「複雑な問題分解」が要求される場面で、高い能力を発揮できるモデルとして期待されている。
それでも2Dパズル「ARC-AGI-3」で苦戦した理由
ところが、2Dのマス目状パズルを解くベンチマーク「ARC-AGI-3」では、GPT-5.6 Solのスコアは期待を下回っていた。ARC-AGI-3は、色付きマスの並び替えや変換ルールを推論して解くパズル群で、汎用的なパターン認識力やルール発見能力を測るために設計されている。
数学の難問を解けるモデルが、なぜ「一見すると単純にも見える」2Dパズルで苦戦したのか。このギャップこそが、今回の検証の出発点となった。
成績低迷の原因は「ハーネス」とAPI設定にあった
学んだことを「覚えられない」環境
調査チームがまず疑ったのは、モデルの能力そのものではなく、「ハーネス」と呼ばれる実行環境だった。ハーネスとは、ベンチマーク用のタスクをAIモデルに渡し、応答を受け取り、スコアを計算するための枠組みのことだ。
検証の結果、このハーネスの設計上の制約により、GPT-5.6 Solが「過去の試行から学んだことを記憶して活かす」ことが十分にできていなかったことが判明した。つまり、モデルはパズルを一問ごとに「ほぼ白紙の状態」で解かされており、徐々に戦略やルールを洗練させる余地が小さかったのである。
鍵となった2つのAPI設定
問題解決の決め手となったのは、API側で用意されていた「2つの設定」を有効化することだった。具体的な設定名は明かされていないものの、いずれもモデルがこれまでの出力や思考を参照し、再利用できるようにするためのオプションだと考えられる。
これらを有効にすることで、モデルは過去の試行からパターンを抽出し、次のパズルに反映できるようになった。結果として、ARC-AGI-3上でのスコアは約3倍に向上し、しかも出力トークン（モデルが生成するテキスト量）は約6分の1に減少したと報告されている。
性能向上と出力削減が同時に起きた意味
一般に、より多くの思考ステップや説明テキストを生成すれば、精度は上がる一方でコストは増える。しかし今回のケースでは、「賢く覚えさせる」ことで、むしろ必要な出力量が減っている。
これは、AIモデルの能力を引き出す上で、「どれだけ長く考えさせるか」だけでなく、「どのようにコンテキスト（過去のやりとりや学習情報）を保持・活用させるか」が極めて重要であることを示している。
開発者・研究者にとっての示唆
「モデルの限界」と「環境の限界」を分けて考える
今回の事例は、ベンチマークでのスコアが低いからといって、直ちに「モデルが弱い」と結論づけるのは危険だという教訓を与えている。特に、以下のような観点が重要になる。
- ハーネスやAPI設定が、モデルの記憶・学習能力を十分に活かせているか
- タスク間で知識を共有する仕組みがあるか
- モデルの思考過程を不必要にリセットしていないか
こうした設計上の制約があると、本来のポテンシャルを持つモデルであっても、ベンチマーク上では「凡庸な成績」に見えてしまう可能性がある。
コスト削減と性能向上を両立する設計のヒント
2つのAPI設定を有効にした結果、スコアが約3倍、出力トークンが約6分の1になったという報告は、実務におけるAI活用にも示唆を与える。適切なコンテキスト設計や状態管理を行えば、以下のようなメリットが期待できるからだ。
- API利用コスト（トークン課金）の削減
- 応答時間の短縮
- それでいて、タスク達成率や精度の向上
単に「より大きなモデル」「より長いプロンプト」を追求するのではなく、どの情報をどのタイミングでモデルに渡すか、どのように過去のやりとりを活かすかといった、システム全体の設計がより重要になりつつあると言える。
ベンチマークの見直しと新たな評価軸
ARC-AGI-3のようなベンチマークは、汎用人工知能（AGI）の進歩を測る指標として注目されている。しかし、今回のようにハーネスや設定によりスコアが大きく変動するとなると、「モデル単体の能力」と「システムとしての能力」をどう区別して評価するかが課題になってくる。
今後は、モデル内部の推論力だけでなく、メモリの扱い方やツール利用、複数ステップの試行錯誤などを含めた「エージェントとしての総合力」を測る新しい評価軸も重要になっていきそうだ。
まとめ
モデルを活かすのは「設定」と「設計」次第
GPT-5.6 Solは、数学の未解決問題を解くほどの高い推論能力を持ちながら、2Dパズルベンチマーク「ARC-AGI-3」では当初、力を出し切れていなかった。その主因は、ハーネスとAPI設定がモデルの学習・記憶能力を十分に引き出していなかった点にあった。
検証の結果、2つのAPI設定を有効にするだけでスコアは約3倍に跳ね上がり、出力トークンは約6分の1に減少した。これは、AIの性能評価や実運用において、「どのモデルを使うか」と同じくらい「どう使うか」「どのような環境で動かすか」が重要であることを示している。
今後、より高度なAIモデルが登場するにつれ、ハーネス設計やAPI設定、メモリとコンテキストの扱い方といった「周辺設計」の巧拙が、実際の成果やコストに直結する時代になっていくだろう。
