論文の概要: Reuse Before You Retrieve: Diagnosing Headroom and Complementarity for Test-Time Augmentation of Embodied Multimodal Policies

• arxiv url: http://arxiv.org/abs/2608.17484v1
• Date: Tue, 18 Aug 2026 08:11:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.260896
• Title: Reuse Before You Retrieve: Diagnosing Headroom and Complementarity for Test-Time Augmentation of Embodied Multimodal Policies
• Title（参考訳）: 検索前のリユース: 身体的マルチモーダル政策の試験時間増強のためのヘッドルームと相補性診断
• Abstract要約: 凍結言語アクション(VLA)ポリシーは、テスト時に徐々に改善されている。 追加のサンプリングは、ポリシーのロールアウト内により優れた振る舞いが存在する場合にのみ有効である。 検索は、関連するアクションがポリシーによって確実に表現されない場合に最も有用である。
• 参考スコア（独自算出の注目度）: 56.86456077356948
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Frozen vision-language-action (VLA) policies are increasingly improved at test time by sampling additional policy behaviors or introducing external demonstrations. Yet there is little guidance for deciding which intervention a deployed policy actually needs. Additional sampling is useful only when better behavior already exists within the policy's stochastic rollouts and can be identified, whereas retrieval is most useful when the relevant action prior is not reliably represented by the policy. We study this decision through two measurable factors, recoverable headroom and retrieval complementarity, which characterize how much useful behavior is already available to recover and whether an external action prior fills a measurable gap. We evaluate an episode-level retry selector under retryable or parallel execution, together with retrieval across multiple frozen VLA policies and environments. The selector consistently recovers substantial latent capability across all tested VLA backbones on LIBERO, with gains of up to 21.0 success-rate points that closely track recoverable headroom. It also transfers to a different robot and simulator and remains effective under degraded observations, while experiments with autoregressive OpenVLA illustrate the distinction between available headroom and the ability to rank candidate rollouts. Retrieval behaves differently, improving the policy with the largest measured action-prior gap and providing further gains when combined with selection. Together, these results provide an empirical basis for characterizing test-time augmentation opportunities by separating capability that can be recovered from the frozen policy from behavioral priors that may need to be introduced externally.
• Abstract（参考訳）: 凍結視覚言語アクション(VLA)ポリシーは、追加のポリシー行動のサンプリングや外部のデモンストレーションの導入によって、テスト時に改善される。 しかし、デプロイされたポリシーが実際に必要とする介入を決定するためのガイダンスはほとんどありません。 追加のサンプリングは、ポリシーの確率的なロールアウトの中により優れた振る舞いが存在しており、識別できる場合にのみ有効であるが、関連するアクションがポリシーによって確実に表現されない場合に最も有用である。 本研究では、この決定を2つの測定可能な要因、つまり、回復可能なヘッドルームと検索相補性を通して研究し、すでにどれだけの有用な行動が回復可能か、外部アクションが測定可能なギャップを埋めるかどうかを特徴付ける。 我々は,複数の凍結VLAポリシや環境を横断する検索とともに,再試行可能な,あるいは並列実行時のエピソードレベルの再試行セレクタの評価を行った。 セレクタは、LIBEROの全てのテストされたVLAバックボーンにまたがる実質的な遅延能力を継続的に回復し、回復可能なヘッドルームを密に追跡する21.0の成功率ポイントを得る。 また、異なるロボットやシミュレータに転送し、劣化した観察の下でも有効であり、自己回帰的なOpenVLAによる実験では、利用可能なヘッドルームと、候補のロールアウトをランク付けする能力の区別が示されている。 検索は異なる振る舞いをし、測定された最大のアクション-プライアギャップでポリシーを改善し、選択と組み合わせることでさらなる利得を提供する。 これらの結果は、凍結した政策から外部に導入する必要がある行動前から回収できる能力を分離することで、テスト時間拡張の機会を特徴づける実証的な基盤を提供する。

関連論文リスト

• SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
  アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。 筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T09:57:18Z)
• Experience Augmented Policy Optimization for LLM Reasoning [50.16045797892008]
  我々は、RLVRの経験は固定的推論軌道として再利用されるべきではなく、政策適応的な方法で表現されるべきであると主張している。 EAPOは最先端のRLVR法よりも推論性能を一貫して改善する。
  論文  参考訳（メタデータ） (2026-06-29T15:05:28Z)
• Value Function Decomposition in Markov Recommendation Process [19.082512423102855]
  本稿では,レコメンダ性能を向上させるためのオンライン強化学習フレームワークを提案する。 これらの2つの因子は、元の時間差損失を分解することで、別々に近似できることを示す。 アンタングル学習フレームワークは、より高速な学習と、アクション探索に対する堅牢性の向上により、より正確な推定を実現することができる。
  論文  参考訳（メタデータ） (2025-01-29T04:22:29Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• CUER: Corrected Uniform Experience Replay for Off-Policy Continuous Deep Reinforcement Learning Algorithms [5.331052581441265]
  我々は,他のすべての経験の公平性を考慮しつつ,記憶された経験をサンプリングする新しいアルゴリズム,Corrected Uniform Experience (CUER) を開発した。 CUERは、トレーニング中のポリシーのサンプル効率、最終的なパフォーマンス、安定性の観点から、非政治的な継続的制御アルゴリズムに有望な改善を提供する。
  論文  参考訳（メタデータ） (2024-06-13T12:03:40Z)
• Beyond Expected Return: Accounting for Policy Reproducibility when Evaluating Reinforcement Learning Algorithms [9.649114720478872]
  強化学習(Reinforcement Learning, RL)における多くの応用は、環境にノイズオリティが存在する。 これらの不確実性は、ひとつのロールアウトから別のロールアウトまで、まったく同じポリシーを別々に実行します。 RL の一般的な評価手順は、その分布の拡散を考慮しない期待された戻り値のみを用いて、連続した戻り値分布を要約する。 我々の研究は、この拡散をポリシーとして定義している: 何度もロールアウトするときに同様のパフォーマンスを得るポリシーの能力は、いくつかの現実世界のアプリケーションにおいて重要な特性である。
  論文  参考訳（メタデータ） (2023-12-12T11:22:31Z)
• Dichotomy of Control: Separating What You Can Control from What You Cannot [129.62135987416164]
  政策の制御(行動)と政策の制御(環境)以外のメカニズムを分離する将来の条件付き教師あり学習フレームワークを提案する。 我々は,DoCが条件付入力と整合したポリシを出力し,学習したポリシを所望のハイリターン未来結果に条件付けすることで,高リターン行動が正しく引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-10-24T17:49:56Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• Accelerated Policy Evaluation: Learning Adversarial Environments with Adaptive Importance Sampling [19.81658135871748]
  安全クリティカルシステムにおけるバイアスまたは不正確な政策評価は、予期せぬ破滅的な失敗を引き起こす可能性がある。 本稿では,稀な事象を同時に発見し,稀な事象の確率を推定するAPE手法を提案する。 APEは、関数近似器を組み込むことにより、大きな離散空間や連続空間にスケーラブルである。
  論文  参考訳（メタデータ） (2021-06-19T20:03:26Z)
• Provably Good Batch Reinforcement Learning Without Great Exploration [51.51462608429621]
  バッチ強化学習(RL)は、RLアルゴリズムを多くの高利得タスクに適用するために重要である。 最近のアルゴリズムは将来性を示しているが、期待された結果に対して過度に楽観的である。 より保守的な更新を行うため、ベルマンの最適性と評価のバックアップに小さな修正を加えることで、はるかに強力な保証が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-16T09:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。