論文の概要: Decoupled Marginal Sharpening for Training-Free Inference-Time Scaling

• arxiv url: http://arxiv.org/abs/2610.20483v1
• Date: Wed, 14 Oct 2026 16:55:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.259829
• Title: Decoupled Marginal Sharpening for Training-Free Inference-Time Scaling
• Title（参考訳）: トレーニング不要な推論時間スケーリングのためのデカップリング・マージナルシャープニング
• Abstract要約: モデル重みを更新したり、外部報酬モデルを使用したりすることなく、推定時間でのLLM推論を改善する方法について検討する。 本稿では、モデルが特定の推論経路をどれだけ強く好むかを個別に制御するDecoupled Margin Sharpening (DMS)を提案する。 DMSは、すべてのタスクで比較されたメソッドの中で、最も平均パス@1を達成する。
• 参考スコア（独自算出の注目度）: 19.842727659343797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study how to improve LLM reasoning at inference time without updating model weights or using external reward models. Recent reward-free power-sampling methods define the sequence-level power target $π_α(y\mid x)\propto p_0(y\mid x)^α$, where $α>1$, which increases the relative probability of completions that are already likely under the base model. Existing methods use Metropolis--Hastings or Sequential Monte Carlo (SMC) to approximately sample from this target. However, two challenges arise at different levels. At the target level, full-sequence sharpening can concentrate probability on a few exact reasoning--answer trajectories, suppressing alternative paths that support the same answer. At the sampler level, finite-particle SMC can suffer from path collapse when resampling repeatedly duplicates a few high-weight prefixes. To address these challenges, we propose Decoupled Marginal Sharpening (DMS), which separately controls how strongly the model favors particular reasoning paths and how strongly it favors final answers after aggregating support across those paths. At the target level, DMS first samples from a sharpened reasoning distribution, then marginalizes the model's answer probabilities over the resulting weighted reasoning population and sharpens the induced answer marginal. Separate exponents allow mild reasoning sharpening to encourage exploration of diverse paths, followed by stronger answer-marginal sharpening to concentrate probability on answers with greater aggregate support across those paths. At the sampler level, we develop Fully Adapted Annealed SMC, which combines an annealed sequence of power targets with locally fully adapted proposals and predictive ancestor resampling. Experiments on MATH500, GPQA-Diamond, HumanEval, and AIME24/25 across three base models show that DMS achieves the highest mean pass@1 among the compared methods in all tasks.
• Abstract（参考訳）: モデル重みを更新したり、外部報酬モデルを使用したりすることなく、推定時間でのLLM推論を改善する方法について検討する。 最近の報酬のないパワーサンプリング法は、塩基モデルの下に既に存在するであろう完了の相対確率を高めるために、シーケンスレベルのパワーターゲット $π_α(y\mid x)\propto p_0(y\mid x)^α$ を定義する。 既存の方法はメトロポリス・ハスティングス (Metropolis-Hastings) またはシークエンシャルモンテカルロ (Sequential Monte Carlo, SMC) を用いてこのターゲットからおよそサンプルを採取する。 しかし、異なるレベルでは2つの課題が生じる。 対象レベルでは、フルシーケンスのシャープニングはいくつかの正確な推論に確率を集中させ、同じ答えをサポートする代替経路を抑える。 サンプリング器レベルでは、有限粒子SMCはいくつかのハイウェイトプレフィックスを繰り返し再サンプリングする際に経路崩壊に悩まされる。 これらの課題に対処するため、我々はDecoupled Marginal Sharpening (DMS)を提案する。 対象レベルでは、DMSはまず、シャープ化された推論分布からサンプルを採取し、結果の重み付けされた推論集団に対してモデルの解の確率をマーシャリにし、誘導された解のマーシャリをシャープする。 異なる指数は、緩やかな推論のシャープニングを許容し、多様な経路の探索を奨励し、その後、より強い回答とマージナルのシャープニングにより、これらの経路をまたいだより大きな集合的支援を伴う回答に確率を集中させる。 サンプルレベルにおいて,パワーターゲットのアニール配列と局所的に完全に適応された提案と予測的祖先再サンプリングを組み合わせたフルアダプテッドアニール型SMCを開発した。 MATH500、GPQA-Diamond、HumanEval、AIME24/25の3つのベースモデルに対する実験は、DMSが全てのタスクで比較されたメソッドの中で最高平均パス@1を達成することを示している。

関連論文リスト

• Explore Broadly, Reason Sharply: Push Small Models toward the Frontier via Sampling [26.291892793347426]
  textbfParallel Power Tempering (PPT)を導入する。 異なるシャープ化レベルで複数の共振レプリカを並列に実行することで、低消費電力レプリカは多様な推論軌道を探索することができる。 実験により, 単鎖型パワースハーペンドサンプリングを著しく改善し, RL-ポストトレーニングモデルより優れた性能を示した。
  論文  参考訳（メタデータ） (2026-09-29T17:45:43Z)
• Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
  Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。 Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。 Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
  論文  参考訳（メタデータ） (2026-09-29T07:58:49Z)
• Diffusion Reward Models [56.078040107894]
  DRMはDiffusion Reward Modelで、$p(mathbfrmid x,y)$以上の条件密度推定として報酬モデルを再キャストする。 単一のアーキテクチャは、多属性回帰とペアワイズ選好データの両方を処理し、$N$サンプルでの推論は、スカラー、分散、量子化に集約できる経験的な報酬分布を形成する。 5つのベンチマークで、DRMは一致したデータとバックボーンの下でベースラインにマッチまたはオーバーし、より大きな差別的、分布的、生成的RMと競争し続け、従来のヘッドを持つマルチモーダル報酬構造を回復する。
  論文  参考訳（メタデータ） (2026-09-27T17:57:14Z)
• Markov Chain Monte Carlo with Diffusion Paths [16.16991829228785]
  マルチモーダル分布からのサンプリングは、局所マルコフ連鎖モンテカルロ法における長年の挑戦である。 本稿では,拡散経路に沿って補間すること,すなわちガウスに向かって対象を輸送するノイズ発生拡散過程の限界について提案する。 我々は,MAD-PathがMCMC法と非調整拡散サンプリング器と比較して,グローバル探索とモードウェイト推定を改善したことを示す。
  論文  参考訳（メタデータ） (2026-07-13T14:48:19Z)
• Depth-Entropy Guided Sampling for Training-Free LLM Reasoning [7.057431471793534]
  強化学習(Reinforcement Learning, RL)は, 大規模言語モデルの推論能力向上のための主要なパラダイムとなっている。 固有品質信号として層ワイドエントロピー崩壊を利用するトレーニング不要なテスト時間法であるDepth-Entropy Guided Sampling (DEGS)を紹介する。
  論文  参考訳（メタデータ） (2026-06-19T12:36:23Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Score-based sampling without diffusions: Guidance from a simple and modular scheme [0.0]
  本稿では, (a) 端末分布, (b) それぞれが強対数凹凸(SLC)分布で定義される前方軌道を設計する方法を示す。 このモジュラーリダクションは,後方進路を横切るために,空想的なSLCサンプリングアルゴリズムを利用することができる。 高精度ルーチンを使用すると、KL または Wasserstein 距離において $varepsilon$-accurate の答えが得られる。
  論文  参考訳（メタデータ） (2025-12-30T11:34:59Z)
• Enhancing Adversarial Transferability by Balancing Exploration and Exploitation with Gradient-Guided Sampling [82.52485740425321]
  アドリアックは、ディープニューラルネットワークの堅牢性にとって重要な課題である。 敵攻撃の伝達性は、爆発(最大攻撃能力)と探索(クロスモデル一般化の促進)のジレンマに直面している
  論文  参考訳（メタデータ） (2025-11-01T05:43:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。