論文の概要: DeepLook: Deeper Thinking with Lookahead

• arxiv url: http://arxiv.org/abs/2607.22602v1
• Date: Fri, 12 Jun 2026 16:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.132418
• Title: DeepLook: Deeper Thinking with Lookahead
• Title（参考訳）: DeepLook: Lookaheadでより深く考える
• Abstract要約: トレーニング不要なモニタ・アンド・インターベインデコーディングフレームワークであるDeepLookを紹介した。 DeepLookはトークンレベルの信頼をセグメントレベルの信号に集約し、最近の歴史に対して信頼が低下した時にトリガーし、固定水平ルックアヘッドによる候補継続を探索する。 データセットレベルのトークン生成を平均87.3%削減しながら、16設定中11設定でDeepConf-lowよりも精度が向上する。
• 参考スコア（独自算出の注目度）: 7.989460488870134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference-time scaling has emerged as a powerful paradigm for improving large language model reasoning, often delivering larger gains on difficult reasoning tasks than parameter scaling alone. However, existing approaches remain inefficient in how compute is allocated within a reasoning trace. Motivated by the observation that reasoning failures often exhibit an early onset of uncertainty before a wrong answer become explicit, we introduce DeepLook, a training-free monitor-and-intervene decoding framework that concentrates lookahead compute at uncertainty bottlenecks. DeepLook aggregates token-level confidence into segment-level signals, triggers when confidence drops relative to recent history, and explores candidate continuations with fixed-horizon lookahead. Branches are ranked by Average Lookahead Confidence (ALC), the average segment-level confidence over rollout continuations, then pruned and aggregated through voting. On four competition-style mathematics benchmarks across DeepSeek-R1-8B, Qwen3-32B, GPT-OSS-20B, and GPT-OSS-120B, DeepLook shifts the accuracy--token-cost Pareto frontier: it improves accuracy over DeepConf-low in 11 of 16 settings while reducing dataset-level token generation by 87.3% on average, including gains of +3.1 on AIME25 with Qwen3-32B and +8.8 on BRUMO25 with GPT-OSS-20B. These results show that selective, future-aware intervention yields substantially stronger accuracy--cost trade-offs than uniformly scaling complete reasoning trajectories. Code is available here.
• Abstract（参考訳）: 推論時間スケーリングは、大きな言語モデルの推論を改善するための強力なパラダイムとして現れ、しばしばパラメータスケーリング単独よりも難しい推論タスクにおいて大きな利益をもたらす。 しかし、既存のアプローチは推論トレース内での計算の割り当て方法に非効率なままである。 誤った回答が明確になる前に、推論失敗が早期の不確実性を示すことがしばしばあるという観察に触発され、不確実性のボトルネックに注目する、トレーニング不要なモニタとインタベインデコーディングフレームワークDeepLookを紹介した。 DeepLookはトークンレベルの信頼をセグメントレベルの信号に集約し、最近の歴史に対して信頼が低下した時にトリガーし、固定水平ルックアヘッドによる候補継続を探索する。 ブランチはAverage Lookahead Confidence (ALC) によってランク付けされる。 DeepSeek-R1-8B、Qwen3-32B、GPT-OSS-20B、GPT-OSS-120Bの4つの競合型数学ベンチマークにおいて、DeepLookは正確で高価なParetoフロンティアをシフトしている。 これらの結果から, 選択的, 将来的な介入は, 完全な推論軌道を均一にスケーリングするよりも, はるかに精度の高いトレードオフをもたらすことが示唆された。 コードはここにある。

関連論文リスト

• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
  CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。 推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-08T07:08:25Z)
• Stabilizing Efficient Reasoning with Step-Level Advantage Selection [54.563811052329235]
  我々は,長さを意識しない標準のGRPOを用いて,短文のポストトレーニング単独で,すでにかなりの推理圧縮を誘導していることを示す。 そこで本稿では, 適切なロールアウトにおける低信頼度ステップと, 検証済みロールアウトにおける高信頼度ステップにゼロアドバンテージを割り当てるステップレベルアドバンテージ選択(SAS)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T03:34:59Z)
• Thinking by Subtraction: Confidence-Driven Contrastive Decoding for LLM Reasoning [58.331709210563616]
  サブトラクションによる思考は、信頼主導のコントラスト的デコーディングアプローチである。 低信頼トークンの小さなサブセットは、誤りの推論と不要な出力拡大に不当に寄与する。 信頼駆動型コントラストデコーディング(Confidence-Driven Contrastive Decoding)は,デコーディング中の低信頼トークンを検出し,それらの位置で介入する。
  論文  参考訳（メタデータ） (2026-02-20T14:13:22Z)
• Think Deep, Not Just Long: Measuring LLM Reasoning Effort via Deep-Thinking Tokens [12.788799173865]
  深く考えるトークンを識別することで、推論時間の労力を定量化します。 Think@nは、高い深層比でサンプルを優先順位付けするテストタイムスケーリング戦略である。
  論文  参考訳（メタデータ） (2026-02-13T23:07:37Z)
• Reinforcement Inference: Leveraging Uncertainty for Self-Correcting Language Model Reasoning [0.0]
  強化推論(Reinforcement Inference)は、モデル自身の不確実性を使用して、第二の、より意図的な推論の試みを選択的に呼び出す。 12,032のMMLU-Pro質問では、DeepSeek-v3.2を使ってゼロショット設定で決定論的デコーディングを行い、Reinforcement Inferenceは精度を60.72%から84.03%に改善した。
  論文  参考訳（メタデータ） (2026-02-09T11:08:24Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
  並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。 動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。 我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
  論文  参考訳（メタデータ） (2025-10-09T17:24:54Z)
• Deep Think with Confidence [33.167060610014715]
  私たちはDeep Think with Conf(DeepConf)という,テスト時の推論効率とパフォーマンスを両立させる,シンプルかつ強力な手法を紹介します。 DeepConfはモデル内部信頼信号を利用して、生成時または生成後の低品質な推論トレースを動的にフィルタリングする。 我々は、さまざまな推論タスクと、Qwen 3やGPT-OSSシリーズを含む最新のオープンソースモデルでDeepConfを評価した。
  論文  参考訳（メタデータ） (2025-08-21T05:48:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。