論文の概要: More Correct Mass, Worse Answers: Why Power Sampling Can Fail and How to Fix It

• arxiv url: http://arxiv.org/abs/2608.14420v1
• Date: Fri, 14 Aug 2026 16:01:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.428958
• Title: More Correct Mass, Worse Answers: Why Power Sampling Can Fail and How to Fix It
• Title（参考訳）: 電力サンプリングが失敗する理由と修正方法
• Abstract要約: パワーサンプリングは、より高い確率質量を正しい軌道に向けて駆動し、下流の予測を劣化させる。 自己整合性を代表例として、モデルと推論ベンチマークの間で最大18.5ポイントの精度低下を観測する。 我々は、一様軌跡指数を変形制御型、支持保存型パワーターゲットに置き換え、問題ごとのシャープニングを校正する。
• 参考スコア（独自算出の注目度）: 1.8910307051284583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Power Sampling sharpens a language model's distribution over complete generation trajectories, offering a verifier-free way to improve reasoning at inference time. It also has the potential to serve as a general-purpose front end for a broad range of downstream sampling methods. However, we uncover a striking paradox: Power Sampling can drive more probability mass toward correct trajectories while degrading the downstream inference it is intended to enhance. Using self-consistency as a representative case, we observe accuracy drops of up to 18.5 percentage points across models and reasoning benchmarks. We trace this paradox to two mismatches. Dose mismatch arises because a fixed exponent induces drastically different amounts of distributional change across problems. Coverage mismatch arises because global sharpening concentrates mass on a narrow set of dominant paths: high pass@k, often interpreted as evidence of preserved diversity, can therefore coexist with the loss of broad reasoning-path support required for downstream aggregation, search, and selection. Guided by this diagnosis, we replace uniform trajectory exponentiation with a deformation-controlled, support-preserving Power target that calibrates sharpening across problems while limiting the suppression of moderate-probability paths. In a same-budget instantiation with weighted self-consistency, the repaired sampler reverses the losses caused by global Power and outperforms standard multi-sample inference across reasoning benchmarks.
• Abstract（参考訳）: パワーサンプリングは、完全な生成軌道上の言語モデルの分布を鋭くし、推論時の推論を改善するための検証不要な方法を提供する。 また、幅広い下流サンプリング手法の汎用フロントエンドとして機能する可能性もある。 パワーサンプリングは、より多くの確率質量を正しい軌道に向けて駆動し、下流の推論を劣化させる。 自己整合性を代表例として、モデルと推論ベンチマークの間で最大18.5ポイントの精度低下を観測する。 私たちはこのパラドックスを2つのミスマッチに辿った。 ドーズミスマッチ(Dose mismatch)は、固定指数が問題間で大きく異なる分布変化を引き起こすために生じる。 高いパス@kは、しばしば保存された多様性の証拠として解釈されるため、下流の集約、探索、選択に必要な広い推論パスの損失と共存する。 この診断で導かれた一様軌跡指数を変形制御された支持型パワーターゲットに置き換え、中程度の確率パスの抑制を抑えながら問題ごとのシャープニングを校正する。 自己整合性の重み付けによる同予算のインスタンス化では、修復されたサンプルは、グローバルパワーによる損失を逆転させ、推論ベンチマーク全体で標準のマルチサンプル推論を上回ります。

関連論文リスト

• Simplex Relaxation for Discrete Diffusion [58.33696160279345]
  Simplax(Simplax)はディリクレ(Dirichlet)のカテゴリー拡張で、それぞれが崩壊したカテゴリ状態と補助的単純度値変数を結合する。 Simplaxは生成パープレキシティーを改善する。-無条件のOpenWebText生成におけるエントロピートレードオフ。
  論文  参考訳（メタデータ） (2026-08-11T07:58:17Z)
• Augmented Inverse Hybrid Weighting: Robust Inference under Deterministic and Random Distribution Shifts [17.842727239557995]
  本稿では,制度的なシフトを考慮に入れた上で,2つの集団法間の非体系的な変化を可能にする新しいモデルを提案する。 このような残留シフトは、学習可能な方法で表現できない確率空間へのランダムな摂動としてモデル化される。 純粋なランダム摂動の下で、この原理は回帰増強と分散-最適データセットレベルプーリングを使用するAIDW(Augmented Inverse Distance Weighting)をもたらす。 AIDWと標準強調重み付けを補間するAIHW(Augmented Inverse Hybrid Weighting)を開発した。
  論文  参考訳（メタデータ） (2026-08-01T15:02:13Z)
• On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity [5.35852583397955]
  On-policy self-distillationは,教師と学生の両方に単一モデルを使用することで,強力なパス@1精度を実現する。 ロールアウトの多様性が低下し、pass@k曲線がフラットになるのです。
  論文  参考訳（メタデータ） (2026-06-24T17:59:02Z)
• Demystifying Variance in Circuit Discovery of LLMs [51.97489679448601]
  我々は,再サンプリングのばらつきを大幅に軽減する新しい回路探索法を開発した。 テンプレートの異なるプロンプトは、モデル内の異なる回路を活性化する傾向があるため、リフレージングのばらつきが生じることを示す。 我々は、よりコンパクトで解釈可能なタスク回路を形成すると主張されている空間性は、この問題の解決に失敗すると主張している。
  論文  参考訳（メタデータ） (2026-06-15T16:25:07Z)
• How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
  機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。 因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。 本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
  論文  参考訳（メタデータ） (2026-06-10T21:07:49Z)
• Self-Consistency via Marginal Sharpening [7.735925614494125]
  推論時間サンプリングは、追加のトレーニングなしで言語モデルから強力な推論能力を引き出すことができる。 本稿では,数学やコーディングベンチマークにおける標準電力サンプリングよりも高い性能を示す,単純で純粋に自己回帰的な並列サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-05-27T08:24:56Z)
• Probability-Conserving Flow Guidance [49.03107678763765]
  Adaptive Manifold Guidance (AdaMaG)はリアリズムを改善し、幻覚を減らし、高誘導下での劣化を制御する。 画像生成ベンチマーク全体で、AdaMaGはリアリズムを改善し、幻覚を減らし、高誘導下での劣化を制御する。
  論文  参考訳（メタデータ） (2026-05-19T16:34:01Z)
• Faster Probabilistic Error Cancellation [6.418044102466421]
  そこで本研究では,標準手法よりもサンプリングコストが低いPECを実現するための新しい手法を提案する。 PECを解析的にも数値的にも節約できることを示す。 また, この手法を実験的に実証し, 緩和値と理想値との良好な一致を見出した。
  論文  参考訳（メタデータ） (2025-06-04T21:38:56Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。