論文の概要: Reasoning with Sampling: Cutting at Decision Points

• arxiv url: http://arxiv.org/abs/2605.30327v1
• Date: Thu, 28 May 2026 17:57:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.737819
• Title: Reasoning with Sampling: Cutting at Decision Points
• Title（参考訳）: サンプリングによる推論:決定点の切断
• Authors: Felix Zhou, Anay Mehrotra, Quanquan C. Liu,
• Abstract要約: ベースモデルの分布を鋭くしたバージョンからサンプリングすると、追加のトレーニング、キュレートされたデータセット、検証なしで、同等の推論が引き起こされることを示す。 サンプリング者は、目標分布のモード間の移動を必要とする電力分布に「混合」する必要がある。 本稿では,基本モデルの次点エントロピーをプロキシとして用いて,重要な決定点を特定し,それらの位置から再サンプリングするアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 7.438249964230582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Frontier reasoning models are produced by posttraining base language models with reinforcement learning. Recent work has challenged this by showing that sampling from a sharpened version of the base model's distribution, a so-called power distribution, elicits comparable reasoning without additional training, curated datasets, or verifiers. However, making this method practical requires efficiently sampling from the power distribution. A sampler needs to "mix" to the power distribution, which necessitates moving between modes of the target distribution; intuitively, e.g., trying different reasoning strategies. The samplers proposed in prior works repeatedly select a "cut" position in the current reasoning trace uniformly at random and resample the suffix from that position onward. However, reasoning traces typically contain a few consequential decisions (e.g., the choice of proof strategy or algorithm), and we observe that a uniformly chosen cut tends to rewrite local details rather than revisit decision points. We introduce an algorithm (Entropy-Cut Metropolis-Hastings) that uses the base model's next-token entropy as a proxy to identify key decision points and resample from those positions. We empirically verify that entropy jumps are a useful proxy for decision points and, in a stylized model of reasoning, prove that our method's mixing time scales with the number of decisions in a trace rather than with the number of tokens, which can be much larger. Across MATH500, HumanEval, GPQA Diamond, and AIME26, our method consistently improves over baselines and RL-trained models.
• Abstract（参考訳）: フロンティア推論モデルは、強化学習によるベース言語モデルの訓練後から生成される。 最近の研究は、ベースモデルの分布を鋭くしたバージョン、いわゆる電力分布からサンプリングし、追加のトレーニングやキュレートされたデータセット、検証者なしで同等の推論を導き出すことで、この問題に挑戦している。 しかし,本手法を実用化するには,電力分布から効率的にサンプリングする必要がある。 サンプリング者は、ターゲット分布のモード間の移動を必要とする電力分布に「混合」する必要がある。 先行研究で提案されたサンプルは、現在の推論トレースの「カット」位置をランダムに繰り返し選択し、その位置から接尾辞を再サンプリングする。 しかしながら、推論トレースは通常、いくつかの連続的な決定(例えば、証明戦略やアルゴリズムの選択)を含んでおり、一様に選択されたカットは、決定点を再検討するよりも、局所的な詳細を書き換える傾向にある。 本稿では,提案するアルゴリズム(Entropy-Cut Metropolis-Hastings)を提案する。 我々は,エントロピージャンプが決定点の有用なプロキシであることを実証的に検証し,提案手法の混合時間とトレースにおける決定数との差が,トークンの数よりもはるかに大きいことを示す。 MATH500、HumanEval、GPQA Diamond、AIME26をまたいで、我々の手法はベースラインとRL学習モデルよりも一貫して改善されている。

関連論文リスト

• Beyond Mode-Seeking RL: Trajectory-Balance Post-Training for Diffusion Language Models [14.588291638328329]
  TraFLは、凍結参照モデルに固定された報酬型ターゲット分布に対するポリシーを訓練する軌道バランスの目標である。 拡散互換のシーケンスレベルサロゲートと学習したプロンプト依存正規化を備えた拡散言語モデルに対して、これを実用的なものにする。
  論文  参考訳（メタデータ） (2026-05-13T16:14:46Z)
• Reasoning with Sampling: Your Base Model is Smarter Than You Think [52.639108524651846]
  本稿では,基本モデル自身の可能性を利用した単純な反復サンプリングアルゴリズムを提案する。 我々のアルゴリズムは、ほぼ一致し、RLのアルゴリズムよりも優れているという推論において、大幅に向上することを示した。 我々の方法は、トレーニング、キュレートされたデータセット、検証器を必要としない。
  論文  参考訳（メタデータ） (2025-10-16T17:18:11Z)
• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Mirror Bridges Between Probability Measures [16.359542985936713]
  密度が不明な対象尺度からのサンプリングは、数学統計学と機械学習の基本的な問題である。 本稿では, ミラーブリッジと呼ばれる新しいモデルを提案し, 条件付き再サンプリングの問題を解く。
  論文  参考訳（メタデータ） (2024-10-09T15:48:56Z)
• DistPred: A Distribution-Free Probabilistic Inference Method for Regression and Forecasting [14.390842560217743]
  本稿では、回帰予測タスクのためのDistPredという新しい手法を提案する。 予測分布と対象分布の差分を測定するための適切なスコアリングルールを、微分可能な離散形式に変換する。 これにより、モデルは単一のフォワードパスで多数のサンプルをサンプリングし、応答変数の潜在的分布を推定することができる。
  論文  参考訳（メタデータ） (2024-06-17T10:33:00Z)
• Shortcomings of Top-Down Randomization-Based Sanity Checks for Evaluations of Deep Neural Network Explanations [67.40641255908443]
  モデルランダム化に基づく正当性チェックの限界を,説明書の評価のために同定する。 トップダウンモデルランダム化は、フォワードパスアクティベーションのスケールを高い確率で保存する。
  論文  参考訳（メタデータ） (2022-11-22T18:52:38Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。