論文の概要: Explore Broadly, Reason Sharply: Push Small Models toward the Frontier via Sampling

• arxiv url: http://arxiv.org/abs/2609.38104v1
• Date: Tue, 29 Sep 2026 17:45:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.803765
• Title: Explore Broadly, Reason Sharply: Push Small Models toward the Frontier via Sampling
• Title（参考訳）: Reason Sharply:小さなモデルをサンプリングでフロンティアへ進める
• Abstract要約: textbfParallel Power Tempering (PPT)を導入する。 異なるシャープ化レベルで複数の共振レプリカを並列に実行することで、低消費電力レプリカは多様な推論軌道を探索することができる。 実験により, 単鎖型パワースハーペンドサンプリングを著しく改善し, RL-ポストトレーニングモデルより優れた性能を示した。
• 参考スコア（独自算出の注目度）: 26.291892793347426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Power-sharpened sampling is an inference-time alternative to reinforcement-learning (RL) post-training for enhancing reasoning in large language models (LLMs). High-probability sequences are amplified under the base model without parameter updates or external rewards, avoiding the costly optimization and jagged generalization of RL. However, this approach faces a fundamental exploration--exploitation trade-off, as % strong sharpening restricts exploration, trapping samplers in plausible but incorrect reasoning trajectories, whereas weak sharpening leaves the answer distribution diffuse. To resolve this trade-off, we introduce \textbf{Parallel Power Tempering (PPT)}, instantiating power-sharpened LLM sampling via parallel tempering. Running multiple \emph{interacting} replicas in parallel at different sharpening levels allows lower-power replicas to explore diverse reasoning trajectories and higher-power chains to further exploit higher-likelihood responses favored by the sharpened target. Specifically, we tailor \method{} to inference-time sampling by mitigating a truncation bias, identified in prior power samplers, and investigate effective swap strategies under finite memory and compute budgets. Extensive experimentation shows that \method{} substantially improves single-chain power-sharpened sampling and outperforms RL-post-trained models, producing higher-quality reasoning traces and even achieving performance comparable to frontier models.
• Abstract（参考訳）: パワーシャーペンドサンプリングは、大規模言語モデル(LLM)における推論を強化するための強化学習(RL)ポストトレーニングに代わる推論時間である。 高確率シーケンスは、パラメータ更新や外部報酬なしでベースモデルの下で増幅され、コストのかかる最適化やRLのジャグ一般化を避ける。 しかし, この手法は, 強いシャープ化は探索を制限し, 標本を妥当だが誤った推論軌道で捕捉する一方で, 弱いシャープ化は解答分布を拡散させるため, 根本的な探索-探索トレードオフに直面している。 このトレードオフを解決するために,パラレル・テンパリング(PPT)を導入し,並列・テンパリングによる省電力LDMサンプリングを実現する。 複数の \emph{interacting} レプリカを異なるシャープ化レベルで並列に実行することで、低消費電力レプリカは多様な推論軌道と高出力チェーンを探索し、シャープ化ターゲットに好まれる高濃度の応答をさらに活用することができる。 具体的には, トラクションバイアスを緩和し, 先行電力サンプリング器で同定し, 有限メモリおよび計算予算下での効果的なスワップ戦略を検討することにより, 推定時間サンプリングに最適化する。 大規模な実験により、'method{} は単鎖のパワースハーペンドサンプリングを大幅に改善し、RL-ポストトレーニングモデルを上回る性能を示し、高品質な推論トレースを生成し、フロンティアモデルに匹敵する性能を達成している。

関連論文リスト

• To Reason or to Fabricate: Reasoning Without Shortcuts via Hint-Anchored Pairwise Aggregation [20.92880098291496]
  HIPPOはヒント注入アグリゲーションとペアワイズ報酬モデルを統合する新しいRLフレームワークである。 極めて識別可能な選好信号を提供し、軽量な判断モデルにより真の推論推論を確実に識別することができる。
  論文  参考訳（メタデータ） (2026-06-28T16:21:04Z)
• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• Beyond Mode-Seeking RL: Trajectory-Balance Post-Training for Diffusion Language Models [14.588291638328329]
  TraFLは、凍結参照モデルに固定された報酬型ターゲット分布に対するポリシーを訓練する軌道バランスの目標である。 拡散互換のシーケンスレベルサロゲートと学習したプロンプト依存正規化を備えた拡散言語モデルに対して、これを実用的なものにする。
  論文  参考訳（メタデータ） (2026-05-13T16:14:46Z)
• Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall [28.243098541421755]
  決定論的潜在経路を介して情報を保存する,新規でシンプルな機構であるLoopholingを紹介する。 LDDMは、以前のベースラインよりも最大で61%高い生成的パープレキシティを著しく向上させる。 また、ループホリングはアイドルステップや振動を緩和し、高品質な非自己回帰テキスト生成へのスケーラブルな経路を提供することを示す。
  論文  参考訳（メタデータ） (2025-10-22T07:08:47Z)
• Reasoning with Sampling: Your Base Model is Smarter Than You Think [52.639108524651846]
  本稿では,基本モデル自身の可能性を利用した単純な反復サンプリングアルゴリズムを提案する。 我々のアルゴリズムは、ほぼ一致し、RLのアルゴリズムよりも優れているという推論において、大幅に向上することを示した。 我々の方法は、トレーニング、キュレートされたデータセット、検証器を必要としない。
  論文  参考訳（メタデータ） (2025-10-16T17:18:11Z)
• G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
  本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。 複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。 G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-10-02T12:57:12Z)
• ExPO: Unlocking Hard Reasoning with Self-Explanation-Guided Reinforcement Learning [12.83211408922535]
  強化学習スタイルのポストトレーニングは、報酬や選好信号に基づいてモデル出力を最適化することで推論を改善する。 GRPOスタイルのアプローチでは、結果ベースの検証によってラベル付けされた自己生成サンプルを使用することでこれを実装している。 提案手法は, 基本的回答を条件に, 単純でモジュール化されたフレームワークである。
  論文  参考訳（メタデータ） (2025-07-03T17:44:55Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。