論文の概要: Unified Trajectory Matching Policy Optimization: Diverse T2I Generation and VLA Generalization
- arxiv url: http://arxiv.org/abs/2609.34688v1
- Date: Mon, 28 Sep 2026 09:13:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 03:42:57.479211
- Title: Unified Trajectory Matching Policy Optimization: Diverse T2I Generation and VLA Generalization
- Title（参考訳）: 統一軌道マッチングポリシー最適化:逆T2I生成とVLA一般化
- Abstract要約: Reward-maximizing reinforcement learning (RL) は、テキスト・トゥ・イメージ(T2I)生成のための後流拡散とフローポリシーに広く用いられている。
T2Iでは、報酬最大化RLは基準KLやエントロピー正規化の下でもポリシーモードの崩壊を引き起こす。
拡散・流路政策のためのRLポストトレーニングフレームワークであるUnified Trajectory Matching Policy Optimization (Uni-TMPO)を紹介する。
- 参考スコア（独自算出の注目度）: 70.25625746203777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reward-maximizing reinforcement learning (RL) is widely used to post-train stochastic diffusion and flow policies for text-to-image (T2I) generation. However, reward-maximizing RL causes policy mode collapse even under reference KL or entropy regularization, reducing the policy to a single high-reward mode. In T2I, this produces similar images and reward hacking. When extended to vision-language-action (VLA) models, the same collapse removes alternative successful strategies and weakens task and scene generalization. To address this limitation, we introduce Unified Trajectory Matching Policy Optimization (Uni-TMPO), a unified RL post-training framework for diffusion and flow policies. First, Uni-TMPO converts standardized rewards into a target distribution within each trajectory group and derives the policy distribution from trajectory log probabilities. Then, forward Kullback-Leibler optimization matches the two distributions instead of maximizing expected reward. A progress-conditioned coarse-to-fine scheduler efficiently constructs T2I trajectories. Within the unified framework, feedback-conditioned sampling uses updated observations to construct VLA trajectories. Extensive experiments show that Uni-TMPO achieves higher T2I rewards and VLA ID success rates than the strongest baselines. More importantly, it achieves the best T2I reward-diversity-efficiency trade-off and VLA generalization to held-out tasks and scenes, while real-robot evaluation demonstrates the value of multiple action strategies when the higher-reward target is blocked.
- Abstract（参考訳）: Reward-maximizing reinforcement learning (RL) は、テキスト・トゥ・イメージ(T2I)生成のための訓練後の確率的拡散とフローポリシーに広く用いられている。
しかし、報酬最大化RLは基準KLやエントロピー正規化の下でもポリシーモードを崩壊させ、ポリシーを1つのハイリワードモードに還元する。
T2Iでは、同様のイメージと報酬ハックが生成される。
視覚言語アクション(VLA)モデルに拡張されると、同じ崩壊によって代替的な成功戦略が取り除かれ、タスクやシーンの一般化が弱まる。
この制限に対処するために、拡散・流路政策のための統一RLポストトレーニングフレームワークUni-TMPO(Unified Trajectory Matching Policy Optimization)を導入する。
第一に、Uni-TMPOは標準化された報酬を各軌道群内の目標分布に変換し、軌道ログ確率からポリシー分布を導出する。
次に、前方のKullback-Leibler最適化は、期待される報酬を最大化するのではなく、2つの分布に一致する。
進行条件付き粗大なスケジューラは、T2I軌道を効率的に構築する。
統合されたフレームワーク内では、フィードバック条件付きサンプリングは更新された観測を使用してVLA軌道を構築する。
広汎な実験により、Uni-TMPOは最強のベースラインよりも高いT2I報酬とVLA ID成功率を達成することが示された。
さらに重要なことは、T2I報奨効果トレードオフとVLAの一般化を達成し、一方、実ロボット評価は、より高いリワード目標がブロックされた場合の複数のアクション戦略の価値を実証する。
関連論文リスト
- TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models [8.38821563990503]
視覚言語アクション(VLA)モデルは、教師付き微調整(SFT)またはオンライン強化学習(RL)による下流操作タスクに一般的に適応する。
VLAモデルのための2時間スケールのRLポストトレーニングフレームワークTEMPOを提案する。
CALVINベンチマークと実世界の操作タスクの実験により、TEMPOはトレーニング済みの最先端VLAモデルとRLポストトレーニングベースラインの両方を一貫して上回っていることが示された。
論文 参考訳（メタデータ） (2026-08-07T15:09:51Z) - Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。
G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
論文 参考訳（メタデータ） (2026-06-22T08:12:47Z) - Balancing Performance and Diversity in GRPO Autoregressive Text-to-Image Post-Training [8.16921896191724]
近年,T2I(Autoregressive Text-to-image)生成が急速に進歩している。
我々は、この見過ごされた因子を、前向きKL、逆KL、JSの発散を含む統合されたf分割フレームワーク内で研究する。
系統的理論的解析により,異なる発散がトークンレベルの更新を異なる方法で再形成することが明らかとなった。
論文 参考訳（メタデータ） (2026-06-19T14:50:22Z) - OpenVLThinkerV2: A Generalist Multimodal Reasoning Model for Multi-domain Visual Tasks [81.07598709704628]
標準線形スケーリングを非線形分布マッチングに置き換える新しいRLトレーニング目標を提案する。
また、高度に堅牢で汎用的なマルチモーダルモデルであるOpenVLThinkerV2を提案する。
論文 参考訳（メタデータ） (2026-04-09T17:59:39Z) - HAD: Combining Hierarchical Diffusion with Metric-Decoupled RL for End-to-End Driving [51.268878540511054]
我々は階層的拡散政策を備えたエンドツーエンドの計画フレームワークであるHADを提案する。
我々は,NAVSIMとHUGSIMの両方でHADが新たな最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2026-04-04T04:12:47Z) - Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。
我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
論文 参考訳（メタデータ） (2025-12-02T14:42:54Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z) - TGRPO :Fine-tuning Vision-Language-Action Model via Trajectory-wise Group Relative Policy Optimization [12.061547251822326]
Trajectory-based Group Relative Policy Optimization (TGRPO)は、Visual-Language-Action(VLA)モデルのためのオンラインRLベースのトレーニングフレームワークである。
TGRPOの平均成功率は80.7%で、これはスーパーバイザードファインチューニング(SFT)よりも4.2%高く、他の代表的RLベースのポストトレーニング手法よりも優れていた。
論文 参考訳（メタデータ） (2025-06-10T04:27:49Z) - Online Reward-Weighted Fine-Tuning of Flow Matching with Wasserstein Regularization [14.320131946691268]
本稿では,フローベース生成モデルのための,使いやすく,理論的に健全な微調整法を提案する。
提案手法は,オンライン報酬重み付け機構を導入することにより,データ多様体内の高次領域の優先順位付けをモデルに導出する。
本手法は,報酬と多様性のトレードオフを制御可能とし,最適な政策収束を実現する。
論文 参考訳（メタデータ） (2025-02-09T22:45:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。