論文の概要: To Backtrack or Not to Backtrack: When Sequential Search Limits Model Reasoning

• arxiv url: http://arxiv.org/abs/2504.07052v1
• Date: Wed, 09 Apr 2025 17:12:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:05:39.342713
• Title: To Backtrack or Not to Backtrack: When Sequential Search Limits Model Reasoning
• Title（参考訳）: To Backtrack or not to Backtrack: When Sequential Search Limits Model Reasoning
• Authors: Tian Qin, David Alvarez-Melis, Samy Jelassi, Eran Malach,
• Abstract要約: バックトラックは、長いチェーン・オブ・シント(CoT)生成による逐次線形化探索を可能にすることによって、テスト時間計算を自然にスケールする。 シーケンシャル検索の普及にもかかわらず、並列サンプリングよりも優位性はよく分かっていない。 バックトラック機能を持つモデルはRL微調整の恩恵を受けるが,バックトラック機能を持たないモデルは限定的かつ混合的なゲインを示す。
• 参考スコア（独自算出の注目度）: 31.21491548356213
• License:
• Abstract: Recent advancements in large language models have significantly improved their reasoning abilities, particularly through techniques involving search and backtracking. Backtracking naturally scales test-time compute by enabling sequential, linearized exploration via long chain-of-thought (CoT) generation. However, this is not the only strategy for scaling test-time compute: parallel sampling with best-of-n selection provides an alternative that generates diverse solutions simultaneously. Despite the growing adoption of sequential search, its advantages over parallel sampling--especially under a fixed compute budget remain poorly understood. In this paper, we systematically compare these two approaches on two challenging reasoning tasks: CountDown and Sudoku. Surprisingly, we find that sequential search underperforms parallel sampling on CountDown but outperforms it on Sudoku, suggesting that backtracking is not universally beneficial. We identify two factors that can cause backtracking to degrade performance: (1) training on fixed search traces can lock models into suboptimal strategies, and (2) explicit CoT supervision can discourage "implicit" (non-verbalized) reasoning. Extending our analysis to reinforcement learning (RL), we show that models with backtracking capabilities benefit significantly from RL fine-tuning, while models without backtracking see limited, mixed gains. Together, these findings challenge the assumption that backtracking universally enhances LLM reasoning, instead revealing a complex interaction between task structure, training data, model scale, and learning paradigm.
• Abstract（参考訳）: 大規模言語モデルの最近の進歩は推論能力を大幅に向上させており、特に検索やバックトラックの手法によって改善されている。 バックトラックは、長いチェーン・オブ・シント(CoT)生成による逐次線形化探索を可能にすることによって、テスト時間計算を自然にスケールする。 しかし、これはテスト時間計算をスケールするための唯一の戦略ではない。ベストオブn選択による並列サンプリングは、多様なソリューションを同時に生成する代替手段を提供する。 シーケンシャル検索の普及にもかかわらず、並列サンプリングよりも利点があり、特に固定された計算予算の下ではよく理解されていない。 本稿では,これらの2つの手法を,CountDown と Sudoku の2つの難解な推論タスクに対して体系的に比較する。 意外なことに、シーケンシャルな検索はCountDown上で並列サンプリングを過小評価するが、Sudoku上では性能が優れており、バックトラッキングは普遍的に有益ではないことを示唆している。 1) 探索トレースのトレーニングは,モデルを最適下方策にロックすることができ,(2) 明示的なCoT監督は「単純」(非言語化)推論を阻害することができる。 解析を強化学習(RL)に拡張することにより、バックトラック機能を持つモデルはRL微調整の恩恵を受ける一方、バックトラック機能を持たないモデルは限定的かつ混合的なゲインが得られることを示す。 これらの知見は,タスク構造,トレーニングデータ,モデルスケール,学習パラダイムの複雑な相互作用を明らかにする代わりに,バックトラックがLLM推論を普遍的に強化する,という仮定に挑戦する。

関連論文リスト

• Revisiting the Test-Time Scaling of o1-like Models: Do they Truly Possess Test-Time Scaling Capabilities? [61.85289698610747]
  我々は,o1-like large language model (LLMs) が本当にテスト時間スケーリング機能を持っているか検討した。 これらのo1型モデルの長いCoTは、常に精度を向上しないことがわかった。 並列スケーリング戦略とCoT長特性を組み合わせた手法であるShortest Majority Voteを提案する。
  論文  参考訳（メタデータ） (2025-02-17T07:21:11Z)
• Rethinking Fine-Tuning when Scaling Test-Time Compute: Limiting Confidence Improves Mathematical Reasoning [32.45574194957491]
  クロスエントロピー損失のあるトレーニングは、パス@Nのパス@Nの精度$itは、長いトレーニングで$$を下げることを示す。 モデル信頼性を制限し、pass@Nテストのパフォーマンスを回復することにより、pass@Nに整合した、原則化された修正されたトレーニング損失を提案する。
  論文  参考訳（メタデータ） (2025-02-11T00:33:31Z)
• Metastable Dynamics of Chain-of-Thought Reasoning: Provable Benefits of Search, RL and Distillation [40.861314212279474]
  メタスタブルマルコフプロセスとしてチェーン・オブ・シント(CoT)生成による推論時間計算について検討する。 スパースエッジに報酬を与える検索プロトコルの実装は、異なるクラスタに到達するための期待するステップ数を減らし、CoTを改善することを実証する。 また,検索によって得られる情報を利用して,より優れた推論モデルが得られることを示す。
  論文  参考訳（メタデータ） (2025-02-02T18:19:14Z)
• Advancing Language Model Reasoning through Reinforcement Learning and Inference Scaling [52.34735382627312]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な能力を示した。 既存のアプローチは主に、効果的なテストタイムスケーリングを達成するために、模倣学習と苦労に依存しています。 我々は、探索を奨励し、推論スケーリングを理解することで、強化学習をスケールするためにT1を提案する。
  論文  参考訳（メタデータ） (2025-01-20T18:33:33Z)
• Optimizing Chain-of-Thought Reasoning: Tackling Arranging Bottleneck via Plan Augmentation [34.042565099565934]
  そこで本研究では,抽象的な計画を通じてモデルを整理し,構成ステップを生成するための計画ベーストレーニングと推論手法を提案する。 その結果,CoTデータを直接微調整した場合と比較して,ボトルネックの緩和に優れた性能が得られた。
  論文  参考訳（メタデータ） (2024-10-22T08:38:50Z)
• AQA-Bench: An Interactive Benchmark for Evaluating LLMs' Sequential Reasoning Ability [29.1826948551409]
  AQA-Benchは、大規模言語モデルの逐次推論能力を評価するための新しいベンチマークである。 AQA-Benchは,2進探索,深さ優先探索,幅優先探索という3つのアルゴリズムで構築されている。 我々の調査では興味深い発見がいくつか示されている。
  論文  参考訳（メタデータ） (2024-02-14T18:59:33Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• Supervised Advantage Actor-Critic for Recommender Systems [76.7066594130961]
  本稿では、RL成分を学習するための負のサンプリング戦略を提案し、それを教師付き逐次学習と組み合わせる。 サンプル化された(負の)作用 (items) に基づいて、平均ケース上での正の作用の「アドバンテージ」を計算することができる。 SNQNとSA2Cを4つのシーケンシャルレコメンデーションモデルでインスタンス化し、2つの実世界のデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-11-05T12:51:15Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)
• Cascaded Regression Tracking: Towards Online Hard Distractor Discrimination [202.2562153608092]
  本稿では,2段階の逐次回帰トラッカーを提案する。 第1段階では, 容易に同定可能な負の候補を抽出する。 第2段階では、残留するあいまいな硬質試料をダブルチェックするために、離散サンプリングに基づくリッジ回帰を設計する。
  論文  参考訳（メタデータ） (2020-06-18T07:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。