論文の概要: Pruning the Unsurprising: Efficient Code Reasoning via First-Token Surprisal

• arxiv url: http://arxiv.org/abs/2508.05988v1
• Date: Fri, 08 Aug 2025 03:46:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 20:39:06.065351
• Title: Pruning the Unsurprising: Efficient Code Reasoning via First-Token Surprisal
• Title（参考訳）: 予想外の実行: ファースト・ツー・ケン・サプライサルによる効率的なコード推論
• Authors: Wenhao Zeng, Yaoning Wang, Chao Hu, Yuling Shi, Chengcheng Wan, Hongyu Zhang, Xiaodong Gu,
• Abstract要約: 大規模推論モデル(LRM)は、Chain-of-Thought(CoT)の長さをスケールアップすることによって、コード推論において顕著な能力を示した。 我々は,CoT圧縮のための新しい粗大なフレームワークであるASAP(Anchor-guided, Surprisal-based Pruning)を提案する。 ASAPは、トレーニングと推論コストを大幅に削減しつつ、複数のコード生成ベンチマークで最先端の精度を実現している。
• 参考スコア（独自算出の注目度）: 13.035073453917088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in code reasoning by scaling up the length of Chain-of-Thought (CoT). However, excessively long reasoning traces introduce substantial challenges in terms of training cost, inference latency, and deployment feasibility. While various CoT compression approaches have emerged to address this challenge, they face inherent trade-offs: token-level methods often disrupt syntactic and logical coherence, while step-level methods based on perplexity fail to reliably capture the logically critical reasoning steps. In this paper, we propose ASAP (Anchor-guided, Surprisal-based Pruning), a novel coarse-to-fine framework for CoT compression. ASAP first performs anchor-guided pruning to preserve the core reasoning structure, which efficiently reduces the search space for subsequent processing. It then enables a logic-aware pruning by selecting logically essential reasoning steps based on a novel first-token surprisal metric. Finally, ASAP teaches models to autonomously generate and leverage these concise CoTs at inference time, enabling efficient reasoning in coding tasks. Experiments show that ASAP achieves state-of-the-art accuracy across multiple code generation benchmarks while substantially reducing training and inference costs. On the challenging LiveCodeBench v4_v5 benchmark, our approach reduces token generation by 23.5% and inference latency by 43.5% compared to the strongest baseline, while achieving a competitive accuracy of 36.19% in Pass@1. Our results highlight a promising direction for building powerful and efficient LRMs.
• Abstract（参考訳）: 近年、Large Reasoning Models (LRMs) は、Chain-of-Thought (CoT) の長さをスケールアップすることによって、コード推論において顕著な能力を示している。 しかしながら、過度に長い推論トレースは、トレーニングコスト、推論レイテンシ、デプロイメントの実現可能性という面で重大な課題をもたらします。 トークンレベルのメソッドは、しばしば構文的および論理的一貫性を阻害するが、パープレキシティに基づくステップレベルのメソッドは、論理的に批判的な推論ステップを確実に捉えることができない。 本稿では,CoT圧縮のための新しい粗大なフレームワークであるASAP(Anchor-guided, Surprisal-based Pruning)を提案する。 ASAPはまず、コア推論構造を保存するためにアンカー誘導プルーニングを行い、その後の処理の探索スペースを効率的に削減する。 これにより、論理的に本質的な推論ステップを選択することで、論理を意識したプルーニングを可能にする。 最後に、ASAPは、これらの簡潔なCoTを推論時に自律的に生成し、活用するようにモデルに教え、コーディングタスクにおける効率的な推論を可能にする。 実験によると、ASAPはトレーニングと推論のコストを大幅に削減しつつ、複数のコード生成ベンチマークで最先端の精度を実現している。 挑戦的なLiveCodeBench v4_v5ベンチマークでは、Pass@1の競合精度を36.19%達成しながら、トークン生成を23.5%削減し、推論遅延を43.5%削減した。 この結果は,強力で効率的なLEMを構築する上で有望な方向性を浮き彫りにしている。

関連論文リスト

• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [60.37610817226533]
  CoT推論(Chain-of-Thought reasoning)は、推論中の中間推論をステップバイステップで促進する。 CoTは、長いトークンシーケンスに対する自己回帰復号化に依存するため、かなりの計算オーバーヘッドを導入している。 本稿では,CoT推論を高速化するトークンレベルの信頼度に基づくハイブリッドデコーディングフレームワークであるR-Stitchを提案する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [53.149817480019834]
  大規模推論モデル(LRM)の最近の進歩は、チェーン・オブ・ソート(CoT)による生成長のスケールアップにより、複雑な推論タスクにおける顕著な性能向上を実現している。 本稿では,推論過程のトークン生成中にテキストヒントを注入することにより,推論モデルに簡潔な発話を促すフレームワークであるConciseHintを提案する。 DeepSeek-R1 や Qwen-3 シリーズを含む最先端の LRM 実験により,本手法は性能を良好に保ちながら簡潔な推論過程を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。