論文の概要: Sampling via Decision-Flow: Training-Free Extraction of Improved Latent Reasoning Paths in Large Language Models

• arxiv url: http://arxiv.org/abs/2609.12317v1
• Date: Fri, 11 Sep 2026 00:48:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.577913
• Title: Sampling via Decision-Flow: Training-Free Extraction of Improved Latent Reasoning Paths in Large Language Models
• Title（参考訳）: 決定フローによるサンプリング:大規模言語モデルにおける改善された潜在推論経路の学習自由抽出
• Abstract要約: 決定フローサンプリング(DF-Sample)は、トレーニングフリーでデータフリーな推論時間フレームワークである。 DF-Sampleは3つのモデルと4つのベンチマークで一貫してベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 1.8231916504534451
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central question in LLM reasoning is whether reinforcement learning (RL) instills genuinely new capabilities or merely reshapes how existing knowledge is expressed during inference. Building on the distribution-sharpening hypothesis, which holds that RL reallocates probability mass toward high-reward trajectories already latent in base models, we ask: can we unlock those latent paths without costly RL fine-tuning? We present Decision-Flow Sampling (DF-Sample), a training-free, data-free inference-time framework that constructs a hierarchical reasoning tree, scores terminal nodes for quality, and back-propagates utilities to inform each intermediate branching decision. Unlike conventional sampling strategies that make purely local step-wise choices, DF-Sample performs explicit global trajectory evaluation before committing to a path, recovering high-quality but low-probability reasoning chains that standard decoding overlooks. On GPQA, DF-Sample achieves 45.6% accuracy, surpassing power sampling (38.9%) and GRPO (39.9%), showing that a training-free method can outperform a trained one. Across three models and four benchmarks, DF-Sample consistently outperforms baselines, indicating substantial latent reasoning potential in pretrained base models.
• Abstract（参考訳）: LLM推論における中心的な疑問は、強化学習(RL)が真に新しい能力を与えているか、あるいは推論中に既存の知識がどのように表現されているのかを単に再認識しているかである。 RLは、既にベースモデルで遅れている高次軌道に向けて確率質量を再配置するという分布共有仮説に基づいており、我々は、RLの微調整を犠牲にすることなく、これらの潜伏経路をアンロックできるだろうか? 我々は、階層的な推論木を構築し、品質の端末ノードをスコアし、各中間分岐決定をバックプロパゲートする、トレーニングフリーでデータフリーな推論時間フレームワークであるDecision-Flow Sampling (DF-Sample)を提案する。 純粋に局所的なステップワイズ選択を行う従来のサンプリング戦略とは異なり、DF-Sampleはパスにコミットする前に明示的なグローバルな軌道評価を行い、標準的なデコード見落としとなる高品質で低確率な推論チェーンを回復する。 GPQAでは、DF-Sampleは45.6%の精度を達成し、パワーサンプリング(38.9%)とGRPO(39.9%)を上回り、トレーニングなしの手法が訓練された手法より優れていることを示す。 3つのモデルと4つのベンチマークで、DF-Sampleはベースラインを一貫して上回り、事前訓練されたベースモデルにおいてかなりの遅延推論可能性を示している。

関連論文リスト

• Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment [2.8730465903425877]
  マルチモーダル文書QAにグループ相対ポリシー最適化を適用するトレーニングフレームワークであるPerception-RFTを紹介する。 推論可能なモデルは,4Bパラメータ尺度で直接知覚に基づくポリシーに収束して,学習中の推論トレースを抑制する。 初期のSFT$rightarrow$RLトランジションは65%のトレーニングデータで同等の精度を実現する。
  論文  参考訳（メタデータ） (2026-07-16T07:43:39Z)
• Neglected Free Lunch from Post-training: Progress Advantage for LLM Agents [15.278397068400205]
  強化学習のポストトレーニングはすでに、効果的なステップレベルのスコアリングの材料を提供しています。 我々は、一般的なマルコフ決定プロセスの下で暗黙の優位性を得る。 3つの異なるアプリケーション間で進捗優位性の有効性を検証する。
  論文  参考訳（メタデータ） (2026-06-24T17:54:08Z)
• Depth-Entropy Guided Sampling for Training-Free LLM Reasoning [7.057431471793534]
  強化学習(Reinforcement Learning, RL)は, 大規模言語モデルの推論能力向上のための主要なパラダイムとなっている。 固有品質信号として層ワイドエントロピー崩壊を利用するトレーニング不要なテスト時間法であるDepth-Entropy Guided Sampling (DEGS)を紹介する。
  論文  参考訳（メタデータ） (2026-06-19T12:36:23Z)
• Unified Data Selection for LLM Reasoning [66.0118347918729]
  複雑で長いCoT推論のための大規模言語モデル(LLM)のトレーニングは、しばしば大量の高品質な推論データの必要性によってボトルネックとなる。 本研究では,各推論サンプルの上位(例えば0.5%)のエントロピートークンのみを和らげることで,推論品質を定量化する学習自由度指標であるHigh-Entropy Sum(HES)を提案する。
  論文  参考訳（メタデータ） (2026-05-21T12:21:41Z)
• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• Scaf-GRPO: Scaffolded Group Relative Policy Optimization for Enhancing LLM Reasoning [49.290631188365786]
  Scaf-GRPOは、モデルの独立した学習が停滞した時に介入するトレーニングフレームワークである。 これはQwen2.5-Math-7Bモデルのパス@1スコアを、バニラGRPOベースラインよりも44.3%向上させる。 この結果から、我々のフレームワークは、それまで到達範囲を超えていた問題を解決するモデルの能力を解き放つ、堅牢で効果的な方法論を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-22T17:41:30Z)
• Reasoning with Sampling: Your Base Model is Smarter Than You Think [52.639108524651846]
  本稿では,基本モデル自身の可能性を利用した単純な反復サンプリングアルゴリズムを提案する。 我々のアルゴリズムは、ほぼ一致し、RLのアルゴリズムよりも優れているという推論において、大幅に向上することを示した。 我々の方法は、トレーニング、キュレートされたデータセット、検証器を必要としない。
  論文  参考訳（メタデータ） (2025-10-16T17:18:11Z)
• Interleaved Reasoning for Large Language Models via Reinforcement Learning [22.403928213802036]
  ロングチェーン・オブ・シント(CoT)は、大規模言語モデル(LLM)推論能力を向上する。 本稿では、強化学習(RL)を用いてLLMを指導し、マルチホップ質問に対する思考と回答をインターリーブする新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:58:17Z)
• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)
• Single-Trajectory Distributionally Robust Reinforcement Learning [21.955807398493334]
  本研究では,分散ロバストRL (DRRL) を提案する。 既存のDRRLアルゴリズムはモデルベースか、1つのサンプル軌道から学習できないかのいずれかである。 単一軌道を用いた分散ロバストQ-ラーニング(DRQ)と呼ばれる,完全モデルフリーなDRRLアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-01-27T14:08:09Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。