論文の概要: Trusting Imagined Futures: Auditing Imagined Rewards for VLA Post-Training

• arxiv url: http://arxiv.org/abs/2611.04873v1
• Date: Tue, 03 Nov 2026 13:26:53 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:26:01.617038
• Title: Trusting Imagined Futures: Auditing Imagined Rewards for VLA Post-Training
• Title（参考訳）: 未来の未来を信頼する:VLAのポストトライニングで思い浮かぶリワードを観る
• Abstract要約: Trusting Imagined Futures (TIF) は、視覚言語行動(VLA)後トレーニングのためのオフラインの監督方法である。 多次元報酬モデルは、候補ランキングと実行品質の5次元に対する実用性スコアを予測する。 監査人は報酬予測と不確実性を使用して、ペア化された想像ビデオと実際の実行から得られた過大評価パターンを特定する。
• 参考スコア（独自算出の注目度）: 27.17215531335776
• License:
• Abstract: Video world models enable candidate actions to be evaluated through imagined outcomes, but high predicted rewards can favor trajectories with poor execution quality. We introduce Trusting Imagined Futures (TIF), an offline supervision selection method for vision-language-action (VLA) post-training that audits predicted rewards using execution feedback. A multidimensional reward model predicts a utility score for candidate ranking and five dimensions of execution quality. An auditor uses reward predictions and uncertainty to identify overestimation patterns learned from paired imagined videos and real executions. TIF accepts the candidate with the highest predicted utility when its advantage over the existing trajectory exceeds a margin and its audit risk passes a threshold; otherwise, it retains the existing supervision. The retained real trajectories then supervise behavior cloning. Across four LIBERO suites and three training seeds, TIF achieves a mean success rate of 76.25%, improving over training on the existing trajectories by 3.00 percentage points with the same trajectory count and training budget. Adding audit gating yields 1.47 percentage points with the reward model and advantage margin held fixed. The gains persist against advantage ranking and logistic regression risk selection at matched replacement counts. On recorded videos from three real robot tasks, TIF increases clean completion among selected trajectories from 58.33% to 70.00% across 60 candidate pools.
• Abstract（参考訳）: ビデオワールドモデルは、予測された結果を通じて候補アクションを評価することができるが、高い予測された報酬は、実行品質の悪い軌跡を好むことができる。 本稿では,視覚言語行動(VLA)後トレーニングのためのオフライン監視手法であるTrusting Imagined Futures(TIF)を紹介する。 多次元報酬モデルは、候補ランキングと実行品質の5次元に対する実用性スコアを予測する。 監査人は報酬予測と不確実性を使用して、ペア化された想像ビデオと実際の実行から得られた過大評価パターンを特定する。 TIFは、既存の軌道に対する優位性がマージンを超え、監査リスクがしきい値を超えた場合に、最も予測された実用性を持つ候補を受け入れる。 保持された実際の軌道は、次に行動クローニングを監督する。 4つのLIBEROスイートと3つのトレーニング種の中で、TIFは76.25%の平均的な成功率を達成し、既存の軌道上でのトレーニングを同じ軌道数とトレーニング予算で3.00ポイント改善する。 監査ゲーティングを追加すると、報酬モデルと利得マージンが固定された1.47ポイントの利得が得られる。 利得は、有利なランキングと、一致する置換数でのロジスティック回帰リスク選択に対して持続する。 3つの実際のロボットタスクから記録されたビデオでは、TIFは選択された軌道のうちクリーンな完了を58.33%から60の候補プールで70.00%に増やしている。

関連論文リスト

• ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
  検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
  論文  参考訳（メタデータ） (2026-10-17T07:19:05Z)
• Learning to Reason with Selective Internal Feedback [15.532616887327253]
  本稿では、比較報酬構築と選択ポリシー更新を組み合わせた強化学習手法であるSIFを紹介する。 SIFは、複数のウィンドウとピアでランク付けされたトークンレベルの自己確実性プロファイルを比較し、両レベルの投票が十分なサポートを提供する場合にのみ、肯定的な報酬を割り当てる。 実験の結果、SIFの最終チェックポイントは、IntuitorとVigorの最良の検証ポイントよりも平均精度が高く、Qwen2.5-Math-1.5BではIntuitorよりも4.71ポイント上昇した。
  論文  参考訳（メタデータ） (2026-10-15T07:08:46Z)
• FPD-Drive: Future Policy Distillation for End-to-End Autonomous Driving [60.94017457617759]
  我々は、特権付き将来の知識を視覚駆動ポリシーに蒸留するエンド・ツー・エンドのプランナーであるFPD-Driveを提案する。 具体的には,教師から多様な,高品質な軌道目標を伝達するために,Future-Privileged Multi-Target Distillationを導入する。 候補選択には、近隣の安全候補と安全でない候補のランキング誤差を補正するセーフティ・アウェア・スコア補正を導入する。
  論文  参考訳（メタデータ） (2026-10-09T08:50:25Z)
• Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight [69.33075666165205]
  検証可能な報酬(RLVR)による強化学習は、エージェント体験を学習信号に変換する。 自己検査蒸留(Self-Retrospection Distillation, SRD)は、特権のある後見を同じ方針の軌跡の目視に蒸留する。 以上の結果から,ポストホックエージェント体験は,行動の評価や改善だけでなく,対話に先立って予測表現を形成する上でも有用であることが示唆された。
  論文  参考訳（メタデータ） (2026-10-06T10:06:47Z)
• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• Cross-Benchmark Generalization in Long-Horizon Agents [1.0742728354283815]
  我々は,27のカテゴリにわたる363の長距離モデルコンテキストプロトコル(MCP)タスク上で,オープンウェイト・ミックス・オブ・エキスパート・モデルを構築した。 トレーニングには外部ベンチマークタスクやグレーダが入らず、報酬、ハイパーパラメータのトレーニング、トレーニングされたチェックポイントの選択、停止を外部スコアが知らせなかった。 両方のソフトウェアベンチマークは、ソフトウェアエンジニアリングタスクを含まないトレーニングコレクションにもかかわらず改善されている。
  論文  参考訳（メタデータ） (2026-07-31T18:05:36Z)
• Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short [51.667769734342635]
  検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力向上のための主要なパラダイムとなっている。 本研究では,非多変量報酬群を判定システムにルーティングする適応学習フレームワークであるReasoning Arenaを提案する。 我々は、Reasoning Arenaが、競争数学やコーディングベンチマークにおいて、RLVRベースラインを平均で7.6%上回っていることを示す。
  論文  参考訳（メタデータ） (2026-06-08T11:57:17Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• ProRe: A Proactive Reward System for GUI Agents via Reasoner-Actor Collaboration [24.005812534024965]
  ProReは汎用推論エージェントとドメイン固有評価エージェントを利用するプロアクティブ報酬システムである。 ProReは報酬精度を最大5.3%、F1スコアを19.4%向上させる。
  論文  参考訳（メタデータ） (2025-09-26T03:29:36Z)
• Acting upon Imagination: when to trust imagined trajectories in model based reinforcement learning [1.26990070983988]
  モデルベース強化学習(MBRL)は、行動の結果を予測する環境力学のモデル(s)を学習することを目的としている。 仮想軌道のオンライン評価のための不確実性推定手法を提案する。 その結果,性能を犠牲にすることなく計算コストを大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2021-05-12T15:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。