論文の概要: VITA: Vision-to-Action Flow Matching Policy

• arxiv url: http://arxiv.org/abs/2507.13231v1
• Date: Thu, 17 Jul 2025 15:41:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.560822
• Title: VITA: Vision-to-Action Flow Matching Policy
• Title（参考訳）: VITA:ビジョン・ツー・アクションフローマッチングポリシー
• Authors: Dechen Gao, Boqi Zhao, Andrew Lee, Ian Chuang, Hanchu Zhou, Hang Wang, Zhe Zhao, Junshan Zhang, Iman Soltani,
• Abstract要約: 本稿では、視覚的視覚表現を視覚運動制御のための潜在動作に進化させる視覚と行動のフローマッチングポリシーであるVITAを提案する。 VITAは、遅延画像をフローソースとして扱う新しいパラダイムを提案し、異なる条件付きモジュールを排除しながら、視覚から行動への固有のマッピングを学習する。 VITAは、ALOHAプラットフォーム上の5つのシミュレーションと2つの実世界のタスクを含む、挑戦的な双方向操作タスクで評価されている。
• 参考スコア（独自算出の注目度）: 25.146609391293087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present VITA, a Vision-To-Action flow matching policy that evolves latent visual representations into latent actions for visuomotor control. Traditional flow matching and diffusion policies sample from standard source distributions (e.g., Gaussian noise) and require additional conditioning mechanisms like cross-attention to condition action generation on visual information, creating time and space overheads. VITA proposes a novel paradigm that treats latent images as the flow source, learning an inherent mapping from vision to action while eliminating separate conditioning modules and preserving generative modeling capabilities. Learning flows between fundamentally different modalities like vision and action is challenging due to sparse action data lacking semantic structures and dimensional mismatches between high-dimensional visual representations and raw actions. We address this by creating a structured action latent space via an autoencoder as the flow matching target, up-sampling raw actions to match visual representation shapes. Crucially, we supervise flow matching with both encoder targets and final action outputs through flow latent decoding, which backpropagates action reconstruction loss through sequential flow matching ODE solving steps for effective end-to-end learning. Implemented as simple MLP layers, VITA is evaluated on challenging bi-manual manipulation tasks on the ALOHA platform, including 5 simulation and 2 real-world tasks. Despite its simplicity, MLP-only VITA outperforms or matches state-of-the-art generative policies while reducing inference latency by 50-130% compared to conventional flow matching policies requiring different conditioning mechanisms or complex architectures. To our knowledge, VITA is the first MLP-only flow matching policy capable of solving complex bi-manual manipulation tasks like those in ALOHA benchmarks.
• Abstract（参考訳）: 本稿では、視覚的視覚表現を視覚運動制御のための潜在動作に進化させる視覚と行動のフローマッチングポリシーであるVITAを提案する。 従来のフローマッチングと拡散ポリシは、標準のソース分布(例えばガウスノイズ)からサンプルされ、視覚情報に対するコンディション生成へのクロスアテンション、時間と空間のオーバーヘッドの生成のような追加のコンディション機構を必要とする。 VITAは、潜像をフローソースとして扱う新しいパラダイムを提案し、視覚から行動への固有のマッピングを学習し、異なる条件付きモジュールを排除し、生成モデリング機能を保存する。 視覚と行動のような根本的に異なるモダリティ間の学習フローは、意味的構造や高次元の視覚表現と生の行動の間の次元的ミスマッチを欠いたスパースアクションデータのために困難である。 本稿では,オートエンコーダを用いて,フローマッチングターゲットとして構造化された動作潜在空間を作成することで,視覚的表現形状にマッチする生の動作をアップサンプリングする。 重要なこととして、エンコーダターゲットと最終動作出力の両方のフローマッチングをフロー潜在復号により監督し、効果的エンドツーエンド学習のための逐次フローマッチングODE解決ステップを通してアクション再構成損失をバックプロパゲートする。 単純なMLPレイヤとして実装されたVITAは、ALOHAプラットフォーム上の5つのシミュレーションと2つの現実世界タスクを含む、双方向操作タスクの挑戦に対して評価される。 その単純さにもかかわらず、MLPのみのVITAは、異なる条件付け機構や複雑なアーキテクチャを必要とする従来のフローマッチングポリシーと比較して、推論遅延を50-130%削減しながら、最先端の生成ポリシーを上回り、あるいは一致させる。 我々の知る限り、VITA は ALOHA ベンチマークのような複雑な双方向操作タスクを解くことができる MLP のみのフローマッチングポリシーとしては初めてのものです。

関連論文リスト

• SCALAR: Scale-wise Controllable Visual Autoregressive Learning [15.775596699630633]
  視覚自己回帰(VAR)に基づく制御可能な生成法であるSCALARを提案する。 予め訓練された画像エンコーダを用いて意味制御信号の符号化を抽出し,VARバックボーンの対応する層に注入する。 SCALAR上に構築したSCALAR-Uniは,複数の制御モダリティを共有潜在空間に整合させる統合拡張であり,単一のモデルで柔軟なマルチ条件ガイダンスをサポートする。
  論文  参考訳（メタデータ） (2025-07-26T13:23:08Z)
• Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.41894248194995]
  タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。 本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
  論文  参考訳（メタデータ） (2025-06-16T07:55:14Z)
• FUDOKI: Discrete Flow-based Unified Understanding and Generation via Kinetic-Optimal Velocities [76.46448367752944]
  MLLM(Multimodal large language model)は、単一のフレームワーク内で視覚的理解と画像生成を統一する言語である。 ほとんどの既存のMLLMはAutore(AR)アーキテクチャに依存しており、将来の開発に固有の制限を課している。 本稿では,離散フローマッチングに基づく統一マルチモーダルモデルであるFUDOKIを紹介する。
  論文  参考訳（メタデータ） (2025-05-26T15:46:53Z)
• HybridVLA: Collaborative Diffusion and Autoregression in a Unified Vision-Language-Action Model [54.64088247291416]
  操作ポリシー設計の基本的な目的は、ロボットに人間の指示を理解し、シーンの手がかりを推論し、動的な環境で一般化されたアクションを実行することである。 近年の自己回帰的視覚言語行動(VLA)法は、視覚言語モデル(VLM)から常識推論能力を継承し、次の行動予測を行う。 拡散に基づく行動の連続的な性質と自己回帰の文脈的推論を吸収する統合フレームワークであるHybridVLAを紹介する。
  論文  参考訳（メタデータ） (2025-03-13T17:59:52Z)
• Multi-Modality Driven LoRA for Adverse Condition Depth Estimation [61.525312117638116]
  逆条件深さ推定のためのMulti-Modality Driven LoRA(MMD-LoRA)を提案する。 Prompt Driven Domain Alignment (PDDA) と Visual-Text Consistent Contrastive Learning (VTCCL) の2つのコアコンポーネントで構成されている。 nuScenesとOxford RobotCarデータセットの最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-12-28T14:23:58Z)
• MOOSS: Mask-Enhanced Temporal Contrastive Learning for Smooth State Evolution in Visual Reinforcement Learning [8.61492882526007]
  視覚的強化学習(RL)では、ピクセルベースの観察から学ぶことは、サンプル効率に大きな課題をもたらす。 グラフベースの時空間マスキングの助けを借りて時間的コントラストの目的を生かした新しいフレームワークMOOSSを紹介する。 複数の連続的および離散的な制御ベンチマークにおいて、MOOSSはサンプル効率の観点から従来の最先端の視覚的RL法よりも優れていたことを示す。
  論文  参考訳（メタデータ） (2024-09-02T18:57:53Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Adapting Self-Supervised Vision Transformers by Probing Attention-Conditioned Masking Consistency [7.940705941237998]
  自己教師型 ViT のための単純な2段階適応アルゴリズムである PACMAC を提案する。 私たちの単純なアプローチは、競合するメソッドよりも一貫したパフォーマンス向上につながります。
  論文  参考訳（メタデータ） (2022-06-16T14:46:10Z)
• COTS: Collaborative Two-Stream Vision-Language Pre-Training Model for Cross-Modal Retrieval [59.15034487974549]
  画像テキスト検索のための新しいコラボレーティブな2ストリームビジョン言語事前学習モデルCOTSを提案する。 我々のCOTSは,2ストリーム方式の中で最も高い性能を達成し,推論の速度は10,800倍に向上した。 重要なことは、我々のCOTSはテキストからビデオへの検索にも適用でき、広く使われているMSR-VTTデータセットに新たな最先端技術をもたらすことである。
  論文  参考訳（メタデータ） (2022-04-15T12:34:47Z)
• Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives [89.34229413345541]
  本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
  論文  参考訳（メタデータ） (2020-03-19T15:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。