論文の概要: How Much Can Best-of-N Help a World Action Model? Measuring Selectable Headroom and Realizing It in Closed Loop
- arxiv url: http://arxiv.org/abs/2610.37196v1
- Date: Tue, 27 Oct 2026 13:17:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.633313
- Title: How Much Can Best-of-N Help a World Action Model? Measuring Selectable Headroom and Realizing It in Closed Loop
- Title(参考訳): ベスト・オブ・Nは世界行動モデルに役立つか? 選択可能なヘッドルームの測定と閉ループでの認識
- Abstract要約: テスト時間選択は、候補行動の将来を想像し、最良の行動を実行することによって、一定のポリシーを改善することができることを示す。
本稿では,セレクタが実現可能なヘッドルームを計測し,その測定値を用いてフェールゲートセレクタを構築する。
4つのWAM, 2つのベンチマーク, 10000以上の分岐ロールアウト, および事前登録されたテストにおいて, (i) 標準推定値がネイティブサンプルの選択可能なヘッドルームを上書きし, (ii) 構造化された動作摂動が16ポイントまでの選択可能なヘッドルームを生成することがわかった。
- 参考スコア(独自算出の注目度): 12.419922816994642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World action models (WAMs) predict the visual consequences of the actions they generate, which makes test-time selection a natural way to improve a fixed policy: imagine the futures of candidate actions and execute the best one. The benefit of selection is bounded by the selectable headroom, how much better the best candidate truly is, but the standard estimate, which executes each candidate once and keeps the best outcome, conflates candidate quality with the randomness of everything that follows. We introduce a denoised counterfactual protocol, based on bitwise-reproducible branching, repeated continuations, held-out oracles, and common random numbers, that measures the headroom a selector can realize, and use its measurements to build a fail-gated selector. Across four WAMs, two benchmarks, over 100,000 branched rollouts, and pre-registered tests, we find that (i) the standard estimate overstates the selectable headroom of native samples: bounds from 17 continuations per candidate place its selectable share between 24% and 66% for three WAMs; (ii) structured action perturbations create up to 16 points of selectable headroom; and (iii) in both WAMs with action-conditioned imagination, imagined futures carry candidate-outcome information with no detectable loss relative to real futures, information that the value head of Cosmos Policy leaves unused. Deviating from the policy chunk only when a readout of the WAM predicts failure, the selector raises closed-loop task success from 76.9% to 81.6% on held-out episodes of training tasks, with the largest gain where the policy fails most often, and from 62.6% to 69.8% on unseen tasks.
- Abstract(参考訳): ワールドアクションモデル(WAM)は、それらが生成するアクションの視覚的結果を予測する。
選択の利点は、選択可能なヘッドルームと、最適な候補が真にどのくらい優れているかによって制限されるが、標準推定は、各候補を一度実行し、最良の結果を維持する。
本稿では、ビットワイズ再生可能な分岐、繰り返し継続、ホールド・アウト・オークル、および共通乱数に基づいて、予測器が実現できるヘッドルームを測定し、その測定値を用いてフェールゲートセレクタを構築する。
4つのWAM、2つのベンチマーク、10万以上のブランチがロールアウトされ、事前登録されたテストがある。
(i) 基準推定では、3つのWAMに対して17の連続から選択可能なシェアを24%から66%に制限する。
(二)構成された行動摂動は、選択可能なヘッドルームの16点まで形成し、
三 行動条件の想像上の両WAMにおいて、未来は、現実の未来に対して検出可能な損失を伴わず、予測された成果情報を伝達し、コスモス政策の価値が未使用のままである旨の情報を伝達する。
WAMの読み出しが失敗を予測したときだけ政策から逸脱し、セレクタはクローズドループタスクの成功率を76.9%から81.6%に引き上げ、最も頻繁に失敗する最も多く、62.6%から69.8%に引き上げる。
関連論文リスト
- BOSS: Token-Budgeted Online Sampling and Selection for LLM Reasoning [17.2243307672369]
テストタイムのスケーリングはLLM推論を改善することができるが、既存のアプローチは通常、所定のスケジュール後に生成や回答の選択を適用する。
In-instance assign: under a hard per-instance prompt-plus-completion token cap, when inference stop, generated another candidate, or spent residual tokens adjudicating candidate already observed?
BOSSは、24個のモデルタスク予算細胞のうち22個において、共通のハードキャップの下で最も精度が高い。
論文 参考訳(メタデータ) (2026-10-19T13:34:47Z) - VeriVLA: Adaptive Test-Time Verification for Flow-Based VLAs with Latent World Models [50.77784979595945]
トレーニング不要な2軸トリガを導入し,時間内変動とサンプル間のばらつきを測定した。
一度起動すると、JEPAベースの潜在世界モデルは、アクション条件付き将来の潜在状態を予測することによって、候補アクションチャンクをランク付けする。
提案手法は, 平均完了スコアを50.8%から65.5%に引き上げると同時に, トリガ決定毎のサンプリングと検証に326msを加算する。
論文 参考訳(メタデータ) (2026-10-15T14:34:44Z) - Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳(メタデータ) (2026-10-13T16:19:49Z) - The Winner's Curse in LLM Self-Improvement Loops: Selection Noise, Lock-in, and Acceptance Rules [0.0]
自己改善型LLMシステムは、自分自身に変化を提案し、小さな評価セットでスコアを良く保つ。
評価セットが再利用されるとどうなるかを実証的に研究する。
論文 参考訳(メタデータ) (2026-10-07T00:05:23Z) - Beyond Visual Quality: A Study of Test-Time Planning with World Action Models [33.830678725640944]
世界行動モデルは、その結果の視覚的予測と共に行動を生成する。
未来の想像でアクションの選択をガイドする方法はまだ不明だ。
標本化行動が異なる結果をもたらすか,これらの違いが予測に現れるか,スコアが認識するかどうかを検討する。
論文 参考訳(メタデータ) (2026-09-21T15:15:38Z) - Sampling headroom is not selection gain: a compute-value audit of test-time scaling for video world models [34.20907662027954]
テストタイムスケーリングは、より多くの計算がより良い候補を生成する場合にのみ生成を改善することができ、システムはそれらを確実に識別できる。
我々は,余分なサンプリングが機会を生み出すかどうかを問う連続的なフレームワークであるCompute-Value Audit(CVA)を紹介する。
192の物理IQのシーンでは、プールを4から16の候補に拡張すると、オラクルの品質は+9.23 IQ向上する。
12のアダプティブ・ディープス・ポリシーは、均一な計算よりも優れておらず、測定されたエントリー料金の42-69%しか回復しない。
論文 参考訳(メタデータ) (2026-09-06T06:11:15Z) - Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳(メタデータ) (2026-06-01T04:43:36Z) - A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。
最適化に基づく最適化手法であるMERITを導入する。
MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
論文 参考訳(メタデータ) (2025-06-23T19:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。