論文の概要: QuasiMoTTo: Quasi-Monte Carlo Test-Time Scaling

• arxiv url: http://arxiv.org/abs/2607.01179v1
• Date: Wed, 01 Jul 2026 17:10:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:08.000733
• Title: QuasiMoTTo: Quasi-Monte Carlo Test-Time Scaling
• Title（参考訳）: QuasiMoTTo: 準モンテカルロテストタイムスケーリング
• Abstract要約: 推論計算のスケーリングは、問題毎に複数の並列試行を生成することで、言語モデル機能を改善するためのコストがかかるが信頼性の高いレバーである。 相関サンプルをi.d.サンプルのドロップイン置換として利用するQuialiMoTToを紹介する。 我々の実証分析は、QuasiMoTToがいかに効率的に計算を性能に変換できるかを理解することに重点を置いている。
• 参考スコア（独自算出の注目度）: 35.00824891749274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling inference compute, by generating many parallel attempts per problem, is a costly but reliable lever for improving language model capabilities. By default these attempts are generated independently, wasting inference compute on redundant solutions. This waste seems unavoidable. After all, independence is what makes parallel sampling trivial to scale. However, this tradeoff is not fundamental: there is a rich design space of samplers that generate correlated but exact samples entirely in parallel. We explore this design space as an avenue for improving sample efficiency in scaling inference compute and reinforcement learning (RL). Concretely, we introduce QuasiMoTTo, which uses correlated samples as a drop-in replacement for i.i.d. samples. To generate these samples, QuasiMoTTo uses a reparameterization of autoregressive sampling as inverse-CDF sampling and draws the underlying uniforms with quasi-Monte Carlo (QMC); because QMC spreads the uniforms out more evenly than i.i.d., the resulting samples cover the output space with far less redundancy. Even though the batch is correlated, each sample is marginally distributed according to the language model, so we can use the batch for policy-gradient training. Our empirical analysis focuses on understanding how efficiently QuasiMoTTo can turn compute into performance. To evaluate correlated samplers, whose dependence breaks standard pass@k estimators, we first develop an unbiased bootstrap estimator. Across four reasoning benchmarks, QuasiMoTTo matches i.i.d. pass@k accuracy with 25-47% fewer samples. Strikingly, QuasiMoTTo often saturates an upper bound on pass@k that holds for any marginal-preserving sampler. We also apply QuasiMoTTo to policy-gradient RL (GRPO) where it matches i.i.d. performance with 50% fewer training steps. These gains come from higher coverage, which yields a stronger learning signal per batch.
• Abstract（参考訳）: 推論計算のスケーリングは、問題毎に複数の並列試行を生成することで、言語モデル機能を改善するためのコストがかかるが信頼性の高いレバーである。 デフォルトでこれらの試行は独立に生成され、冗長な解に対する推論計算を無駄にする。 この無駄は避けられないようだ。 結局のところ、独立性は並列サンプリングを簡単にスケールさせるものです。 しかし、このトレードオフは基本的なものではなく、相関するが正確なサンプルを完全に並列に生成するサンプルの設計空間が豊富にある。 我々は,この設計空間を,推論計算と強化学習(RL)のスケーリングにおけるサンプル効率向上の道として探求する。 具体的には、相関サンプルをi.d.サンプルのドロップイン置換として使用するQuasiMoTToを紹介する。 これらのサンプルを生成するために、QusiMoTToは逆CDFサンプリングとして自己回帰サンプリングを再パラメータ化し、基礎となるユニフォームを準モンテカルロ(QMC)で描画する。 バッチは相関しているにもかかわらず、各サンプルは言語モデルに従って極端に分散しているため、このバッチをポリシー段階のトレーニングに使用することができる。 我々の実証分析は、QuasiMoTToがいかに効率的に計算を性能に変換できるかを理解することに重点を置いている。 標準パス@k推定器の依存性を損なう相関検体を評価するために,まず,偏りのないブートストラップ推定器を開発する。 4つの推論ベンチマークで、QuasiMoTToはpass@kの精度と25-47%のサンプルとを一致させる。 興味深いことに、QuasiMoTToは、端的に保存されるサンプルのために保持されるpass@k上の上限を飽和させることが多い。 また、政策段階のRL(GRPO)にQuasiMoTToを適用する。 これらの増加は、より高いカバレッジから生じるもので、1バッチあたりの学習シグナルがより強くなります。

関連論文リスト

• UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMs [21.05820098186702]
  我々はUnpredictaBenchを紹介した。これは、大きな言語モデルが真の基礎となる分布をキャプチャする能力をテストする評価である。 単純な分布シミュレーションでさえも困難であり、複雑なシステムのスタンドインとしてLLMを使用するための第一歩となる。
  論文  参考訳（メタデータ） (2026-06-04T18:18:02Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Score-based sampling without diffusions: Guidance from a simple and modular scheme [0.0]
  本稿では, (a) 端末分布, (b) それぞれが強対数凹凸(SLC)分布で定義される前方軌道を設計する方法を示す。 このモジュラーリダクションは,後方進路を横切るために,空想的なSLCサンプリングアルゴリズムを利用することができる。 高精度ルーチンを使用すると、KL または Wasserstein 距離において $varepsilon$-accurate の答えが得られる。
  論文  参考訳（メタデータ） (2025-12-30T11:34:59Z)
• Learning to Reason Across Parallel Samples for LLM Reasoning [48.41933431325965]
  大規模言語モデル(LLM)において、テスト時間計算のスケーリングは大幅なパフォーマンス向上をもたらす 本稿では,このような複数のサンプル集合を利用する新しい手法を提案する。 5つの推論データセットの実験は、SSAの有効性と効率を実証している。
  論文  参考訳（メタデータ） (2025-06-10T17:42:35Z)
• Self-Refining Diffusion Samplers: Enabling Parallelization via Parareal Iterations [53.180374639531145]
  自己精製拡散サンプリング(SRDS)は、サンプル品質を維持し、追加の並列計算コストでレイテンシを向上させることができる。 微分方程式の並列時間積分法であるPararealアルゴリズムから着想を得た。
  論文  参考訳（メタデータ） (2024-12-11T11:08:09Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。 複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。 コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)
• Mini-batch Submodular Maximization [5.439020425819001]
  単調デコンポーザブルな部分モジュラ関数,$F=sum_i=1N fi$ を制約の下で最大化する,最初のミニバッチアルゴリズムを提案する。 我々は、一様と重み付けの2つのサンプリング手法を検討する。 意外なことに, 実験結果から, 均一サンプリングは加重サンプリングよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-23T04:16:58Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。