論文の概要: Blind Spots: Where Small Language Models Fall Behind Frontier Models on Terminal Tasks

• arxiv url: http://arxiv.org/abs/2610.39006v1
• Date: Wed, 28 Oct 2026 22:32:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.427837
• Title: Blind Spots: Where Small Language Models Fall Behind Frontier Models on Terminal Tasks
• Title（参考訳）: Blind Spots: 端末タスクにおけるフロンティアモデルの背後にある小さな言語モデル
• Abstract要約: 小型言語モデル(SLM)は、フロンティアモデル(FM)に代わる魅力的な代替手段を提供する。 可溶性,検証性,信頼性の3つの軸に沿ったSLM-FMギャップを特徴付ける。 これらの結果から, SLM-FMギャップは多次元的であり, 解を生成できるだけでなく, 解の認識や成功を期待できる能力にも及んでいることが示唆された。
• 参考スコア（独自算出の注目度）: 7.399686668453309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small language models (SLMs) offer an attractive alternative to frontier models (FMs) because they can be deployed with lower cost and latency. This makes SLMs especially appealing for terminal tasks on edge devices, where responsiveness, local execution, and limited connectivity are important considerations. However, they continue to lag behind FMs on terminal tasks, as measured by standard task success rates. Yet these rates conflate several capabilities that may contribute to this gap. In this work, we characterize the SLM-FM gap along three axes: solvability, whether additional test-time compute allows an SLM to reach a correct solution; verification, whether it can identify a successful solution among candidate trajectories; and confidence, whether it can accurately anticipate its probability of success. Across two standard terminal benchmarks, we find that repeated sampling narrows, but does not eliminate, the gap in solvability. In contrast, a persistent gap remains in verification. Given the same candidate trajectory pool, FMs recover substantially more of the gap between random and oracle selection than SLMs. SLMs are also more overconfident in their prospective success estimates and exhibit poorer calibration. These results suggest that the SLM-FM gap is multidimensional, spanning not only the ability to generate successful solutions, but also the ability to recognize successful solutions and anticipate success. We hope this decomposition can guide future work on developing stronger and smaller terminal agents.
• Abstract（参考訳）: 小型言語モデル(SLM)は、フロンティアモデル(FM)に代わる魅力的な代替手段を提供する。 これによってSLMは、応答性、ローカル実行、接続性の制限が重要な考慮事項であるエッジデバイス上での端末タスクに特にアピールする。 しかし、彼らは標準タスクの成功率によって測定されるように、終端タスクにおけるFMよりも遅れ続けている。 しかし、これらのレートは、このギャップに寄与する可能性のあるいくつかの機能を説明する。 本研究では3つの軸に沿ったSLM-FMギャップを特徴づける:可解性、追加のテスト時間計算がSLMを正しい解に到達させるかどうか、そして、その解が候補軌跡間で成功した解を識別できるかどうか、そして、その確率を正確に予測できるかどうか、検証する。 2つの標準終端ベンチマークで、繰り返しサンプリングされる幅は狭くなりますが、解決可能性のギャップは排除されません。 対照的に、持続的なギャップは検証に残っています。 同じ候補軌道プールが与えられると、FMはSLMよりもランダムとオラクルの選択のギャップを著しく回復する。 また、SLMは将来的な成功予測を過度に信頼しており、キャリブレーションが劣っている。 これらの結果から, SLM-FMギャップは多次元的であり, 解を生成できるだけでなく, 解の認識や成功を期待できる能力にも及んでいることが示唆された。 この分解によって、より強力で小さなターミナルエージェントの開発に向けた今後の取り組みが促進されることを願っている。

関連論文リスト

• Online Monitoring and Corrective Steering of Programming Agents [8.287759436634767]
  本稿では,LivePlanを用いて,その動作の非効率性やドリフトをリアルタイムで監視し,検出し,補正する。 LivePlanはアドバイスから判断を分離し、問題が検出された場合にのみ、ハイレベルで次のステップの修正のためにアドバイザLSMを参照する。 バニラSWEエージェントと比較して、LivePlanは問題解決率を最大15.2%向上させる。
  論文  参考訳（メタデータ） (2026-08-07T01:54:52Z)
• Accuracy-Delay Trade-Off in LLM Offloading via Token-Level Uncertainty [9.403735095944747]
  大規模言語モデル(LLM)は、インテリジェントなモバイルサービスには大きな可能性を秘めているが、リソース制約のあるデバイスには計算集約的である。 モバイルエッジコンピューティング(MEC)は、そのようなデバイスがエッジサーバ(ES)に推論タスクをオフロードすることを可能にするが、通信とサーバサイドのキューによってレイテンシが生じる。 本稿では,ローカルで推論を行うか,ESにオフロードするかを動的に決定する不確実性を考慮したオフロードフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-08T13:03:03Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Knowing the Answer Isn't Enough: Fixing Reasoning Path Failures in LVLMs [85.37131922131657]
  我々はLVLM(Large Vision-Language Models)の重大な欠陥を明らかにした。 これらのモデルが正しい答えを知っていても、誤った推論経路を通じて頻繁にそこに到達します。 PSO(Path-Select Optimization)は,既存のLVLMの推論性能と安定性を両立させる2段階のポストトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-12-06T03:02:55Z)
• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• PlanU: Large Language Model Reasoning through Planning under Uncertainty [18.52550377318156]
  大規模言語モデル(LLM)は、様々な推論タスクで研究されている。 LLMは、人間にとって比較的容易な不確実性の下で、推論タスクに苦労することがある。 モンテカルロ木探索における不確実性を捉えるLLMベースのプランニング手法であるPlanUを紹介する。
  論文  参考訳（メタデータ） (2025-10-21T09:17:50Z)
• ReliableMath: Benchmark of Reliable Mathematical Reasoning on Large Language Models [70.33764118171463]
  大きな言語モデル(LLM)は、解決不可能な問題やその能力を超える問題に直面した時に、信頼できない応答を作る傾向があります。 我々はオープンソースの解決可能問題と高品質の未解決問題を含むReliableMathデータセットを開発した。 LLMは解決不可能な問題を直接特定できず、常に生成された応答を生成する。
  論文  参考訳（メタデータ） (2025-07-03T19:19:44Z)
• Evaluating Uncertainty-based Failure Detection for Closed-Loop LLM Planners [10.746821861109176]
  大型言語モデル(LLM)は、ロボットタスクのためのゼロショットタスクプランナーとして、目覚ましいパフォーマンスをみせている。 しかし、以前の研究のオープンループの性質は、LSMベースの計画がエラーを起こしやすく、脆弱である。 本研究では,不確実性に基づくMLLM故障検出装置をベースとした,閉ループLLMに基づくKnowLoop計画のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-01T12:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。