論文の概要: Chopthin-Consensus Power Sampling: A Diversity-Preserving Approach to LLM Decoding

• arxiv url: http://arxiv.org/abs/2609.12243v1
• Date: Thu, 10 Sep 2026 22:02:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.553126
• Title: Chopthin-Consensus Power Sampling: A Diversity-Preserving Approach to LLM Decoding
• Title（参考訳）: Chopthin-Consensusパワーサンプリング: LLM復号への多様性保存アプローチ
• Abstract要約: シークエンシャルモンテカルロによる実時間電力サンプリングは、後トレーニングを必要とせずに、大規模言語モデル(LLM)推論を大幅に改善することができる。 既存のSMCアプローチの多くは等重量再サンプリングに依存しており、これは低重量軌道を積極的に引き起こすことができる。 我々は,最大重量と最小重量の比率に上限を課し,不等重量を前方に搬送するChopthin-Consensus Power Sampling (CCPS)を導入する。
• 参考スコア（独自算出の注目度）: 7.9999203378496775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference-time power sampling via Sequential Monte Carlo (SMC) can substantially improve large language model (LLM) reasoning without requiring post-training. However, many existing SMC approaches rely on equal-weight resampling, which can aggressively prune low-weight trajectories, discarding potentially correct reasoning paths and degrading the genealogical diversity of the search space. To address this, we introduce Chopthin-Consensus Power Sampling (CCPS). Our method applies the Chopthin resampler to LLM decoding: rather than equalizing weights and forcing unnecessary particle duplication, it enforces an upper bound on the ratio between the largest and smallest weights and carries the unequal weights forward. This targeted intervention preserves a richer set of distinct reasoning paths, keeps the weighted SMC approximation unchanged in conditional expectation, and guarantees a lower bound on the post-resampling effective sample size (ESS). To fully exploit this enriched population, we employ a semantic-majority selection mechanism that merges token-identical final trajectories, clusters semantically equivalent answers, and returns the answer supported by the largest number of distinct trajectories. Evaluating across three open-weight models and five reasoning benchmarks, we show that Chopthin increases oracle coverage in 13 of 15 settings. Combined with semantic-majority selection, CCPS matches or exceeds the final-answer accuracy of the Power-SMC baseline in 14 of 15 settings, delivering absolute gains of up to 10.6 percentage points. These findings demonstrate that diversity-preserving resampling and diversity-aware selection are complementary mechanisms for training-free LLM reasoning. Code is available at github.com/MinooAhmadii/chopthin-consensus-power-sampling.
• Abstract（参考訳）: 逐次モンテカルロ(SMC)による推定時間パワーサンプリングは、後学習を必要とせずに、大規模言語モデル(LLM)推論を大幅に改善することができる。 しかし、既存のSMCアプローチの多くは等重量再サンプリングに依存しており、これは低重量軌道を積極的に引き起こし、潜在的に正しい推論経路を捨て、探索空間の遺伝的多様性を低下させることができる。 そこで我々はChopthin-Consensus Power Sampling (CCPS)を紹介した。 重みを等しくし、不要な粒子重複を強制するのではなく、最大と最小の重みの比率に上限を課し、不等重みを前方に搬送する。 この目的の介入は、異なる推論経路のリッチなセットを保持し、条件付きSMC近似を一定に保ち、再サンプリング後の有効サンプルサイズ(ESS)の低いバウンドを保証する。 この富裕層をフル活用するために、トークン識別最終軌跡とクラスタのセマンティック等価解をマージし、最も多くの異なる軌跡が支持する解を返すセマンティック・マジョリティ選択機構を用いる。 3つのオープンウェイトモデルと5つの推論ベンチマークで評価したところ、Chopthinは15のセッティングのうち13でオラクルのカバレッジを増加させていることがわかった。 セマンティック・マジョリティの選択と組み合わせて、CCPSは15設定中14設定のPower-SMCベースラインの最終回答精度と一致し、最大10.6ポイントの絶対ゲインを与える。 これらの結果から, 多様性保持型再サンプリングと多様性認識型選択は, 学習自由LLM推論の相補的なメカニズムであることが示唆された。 コードはgithub.com/MinooAhmadii/chopthin-consensus-power-samplingで入手できる。

関連論文リスト

• ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
  ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。 候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-08-25T11:25:55Z)
• Inference-Time Alignment of Diffusion Models via Trust-Region Iterative Twisted Sequential Monte Carlo [15.105260031413698]
  拡散に基づく生成モデルの推論時間アライメントについて検討する。 SMCに基づく推論時間アライメントにおけるツイスト機能学習のための信頼領域フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-24T15:08:52Z)
• Locally Confident, Globally Stuck: The Quality-Exploration Dilemma in Diffusion Language Models [52.61023005303122]
  低信頼度再マッシングは、誘導配列分布のエントロピーを制約しながら、品質のプロキシを改善することを示す。 我々は,デコード時に,この分布をほぼ対象とする簡易なインディペンデント・ハスティングス・サンプリング器を開発した。
  論文  参考訳（メタデータ） (2026-04-01T02:01:30Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)
• Latent Preference Coding: Aligning Large Language Models via Discrete Latent Codes [54.93980123979578]
  我々は、暗黙の要因をモデル化する新しいフレームワークであるLatent Preference Coding (LPC)を紹介する。 LPCは様々なオフラインアライメントアルゴリズムとシームレスに統合し、基礎となる要因とデータからその重要性を自動的に推測する。
  論文  参考訳（メタデータ） (2025-05-08T06:59:06Z)
• SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
  より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。 離散選択問題を連続的な部分集合最適化フレームワークに変換する。 両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
  論文  参考訳（メタデータ） (2025-02-14T12:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。