論文の概要: F1: A Vision-Language-Action Model Bridging Understanding and Generation to Actions

• arxiv url: http://arxiv.org/abs/2509.06951v1
• Date: Mon, 08 Sep 2025 17:58:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:04.306496
• Title: F1: A Vision-Language-Action Model Bridging Understanding and Generation to Actions
• Title（参考訳）: F1:行動への理解と生成を橋渡しするビジョンランゲージ・アクションモデル
• Authors: Qi Lv, Weijie Kong, Hao Li, Jia Zeng, Zherui Qiu, Delin Qu, Haoming Song, Qizhi Chen, Xiang Deng, Jiangmiao Pang,
• Abstract要約: 視覚的フォレスト生成を意思決定パイプラインに統合するフレームワークであるF1を紹介する。 F1は、目標条件付き視覚的見通しを明示的な計画目標として合成するために、次のスケールの予測メカニズムを使用する。 実世界のタスクとシミュレーションベンチマークに関する大規模な評価は、F1が既存のアプローチを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 34.70305835171623
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Executing language-conditioned tasks in dynamic visual environments remains a central challenge in embodied AI. Existing Vision-Language-Action (VLA) models predominantly adopt reactive state-to-action mappings, often leading to short-sighted behaviors and poor robustness in dynamic scenes. In this paper, we introduce F1, a pretrained VLA framework which integrates the visual foresight generation into decision-making pipeline. F1 adopts a Mixture-of-Transformer architecture with dedicated modules for perception, foresight generation, and control, thereby bridging understanding, generation, and actions. At its core, F1 employs a next-scale prediction mechanism to synthesize goal-conditioned visual foresight as explicit planning targets. By forecasting plausible future visual states, F1 reformulates action generation as a foresight-guided inverse dynamics problem, enabling actions that implicitly achieve visual goals. To endow F1 with robust and generalizable capabilities, we propose a three-stage training recipe on an extensive dataset comprising over 330k trajectories across 136 diverse tasks. This training scheme enhances modular reasoning and equips the model with transferable visual foresight, which is critical for complex and dynamic environments. Extensive evaluations on real-world tasks and simulation benchmarks demonstrate F1 consistently outperforms existing approaches, achieving substantial gains in both task success rate and generalization ability.
• Abstract（参考訳）: 動的視覚環境における言語条件付きタスクの実行は、AIを具現化する上で依然として中心的な課題である。 既存のVision-Language-Action(VLA)モデルは、リアクティブな状態からアクションへのマッピングを主に採用しており、しばしば近視行動や動的シーンでの堅牢性の低下につながる。 本稿では、視覚的フォレスト生成を意思決定パイプラインに統合する、事前訓練されたVLAフレームワークであるF1を紹介する。 F1はMixture-of-Transformerアーキテクチャを採用し、知覚、フォアサイト生成、制御のための専用のモジュールを持ち、それによって理解、生成、アクションをブリッジする。 F1のコアとなるのは、目標条件付き視覚的視野を明確な計画目標として合成する、次のスケールの予測メカニズムである。 有望な将来の視覚状態を予測することにより、F1はフォレスト誘導逆ダイナミクス問題としてアクション生成を再構成し、視覚目標を暗黙的に達成するアクションを可能にする。 頑健で一般化可能なF1を実現するために,136のタスクに330k以上のトラジェクトリからなる広範囲なデータセット上で,3段階のトレーニングレシピを提案する。 このトレーニングスキームはモジュラー推論を強化し、複雑な環境や動的環境に欠かせないトランスファー可能な視覚的フォレストをモデルに装備する。 実世界のタスクとシミュレーションのベンチマークに関する大規模な評価は、F1が既存のアプローチを一貫して上回り、タスクの成功率と一般化能力の両方において大きな成果を上げたことを示している。

関連論文リスト

• Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
  本稿では, 自己補正VLA (SC-VLA) を提案する。 SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
  論文  参考訳（メタデータ） (2026-02-25T06:58:06Z)
• Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
  既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。 本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。 我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
  論文  参考訳（メタデータ） (2026-02-23T11:00:08Z)
• Causal World Modeling for Robot Control [56.31803788587547]
  ビデオワールドモデルは、アクションと視覚力学の因果関係を理解することによって、近い将来に想像できる能力を提供する。 本稿では,フレーム予測とポリシ実行を同時に学習する自動回帰拡散フレームワークLingBot-VAを紹介する。 シミュレーションベンチマークと実世界のシナリオの両方でモデルを評価したところ、長距離操作、ポストトレーニングにおけるデータ効率、新しい構成への強力な一般化性などに大きな可能性を示唆している。
  論文  参考訳（メタデータ） (2026-01-29T17:07:43Z)
• Do-Undo: Generating and Reversing Physical Actions in Vision-Language Models [57.71440995598757]
  我々は,視覚言語モデルにおける重要なギャップに対処するために,Do-Undoタスクとベンチマークを導入する。 Do-Undoは、物理的な行動の結果をシミュレートし、それを正確に反転させるモデルを必要とし、視覚の世界における真の原因と効果を反映している。
  論文  参考訳（メタデータ） (2025-12-15T18:03:42Z)
• Viper-F1: Fast and Fine-Grained Multimodal Understanding with Cross-Modal State-Space Modulation [7.171333807979583]
  本稿では,効率的な液体状態空間ダイナミクスに置き換えるハイブリッド状態空間ビジョンランゲージモデルであるViper-F1を紹介する。 その結果,Viper-F1は精度が高く,精度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2025-11-14T11:21:48Z)
• iFlyBot-VLA Technical Report [25.330744626382977]
  iFlyBot-VLA(iFlyBot-VLA)は、新しいフレームワークでトレーニングされた大規模ビジョン・ランゲージ・アクション(VLA)モデルである。 主なコントリビューションは,(1)大規模人体とロボットの操作映像を徹底的に訓練した潜在行動モデル,(2)視覚言語モデル(VLM)と訓練中のアクションエキスパートを協調的に監督する2段階の行動表現フレームワーク,(3)ロボット軌道データと一般的なQAデータセットと空間QAデータセットを組み合わせた混合トレーニング戦略である。
  論文  参考訳（メタデータ） (2025-11-01T06:24:56Z)
• Bridge Thinking and Acting: Unleashing Physical Potential of VLM with Generalizable Action Expert [60.88976842557026]
  VLM(Vision-Language Models)は、優れた計画と推論能力を示している。 最近の二重系アプローチは「思考」と「行動」を分離しようとする 一般化可能なアクションエキスパートを中心としたフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-10-04T18:33:27Z)
• Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models [63.69856480318313]
  AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。 我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。 また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
  論文  参考訳（メタデータ） (2025-10-01T17:58:05Z)
• Enhancing Generalization in Vision-Language-Action Models by Preserving Pretrained Representations [26.678553477485362]
  本稿では,ロボット操作に適応しながら,事前学習した特徴をよりよく保存するフレームワークを提案する。 提案手法では, (i) 事前学習された特徴を保持するために, 凍結したビジョンを持つデュアルエンコーダ設計と, (ii) モデルの事前学習領域に整合した文字列に連続的なアクションを投入する文字列ベースのアクショントークン化器, (iii) ロボットのデモンストレーションと,空間的推論とアプライアンスを強調する視覚言語データセットを組み合わせた協調学習戦略の3つのコンポーネントを導入している。
  論文  参考訳（メタデータ） (2025-09-14T20:08:56Z)
• ViLaD: A Large Vision Language Diffusion Framework for End-to-End Autonomous Driving [14.486548540613791]
  エンド・ツー・エンド・エンドの自動運転のための新しいLarge Vision Language DiffusionフレームワークであるViLaDを紹介する。 ViLaDは、駆動決定シーケンス全体の並列生成を可能にし、計算遅延を大幅に削減する。 我々はnuScenesデータセットの総合的な実験を行い、ViLaDは最先端の自己回帰的VLMベースラインを計画精度と推論速度の両方で上回ります。
  論文  参考訳（メタデータ） (2025-08-18T04:01:56Z)
• VLMPlanner: Integrating Visual Language Models with Motion Planning [18.633637485218802]
  VLMPlannerは、学習ベースのリアルタイムプランナと生画像の推論が可能な視覚言語モデル(VLM)を組み合わせたハイブリッドフレームワークである。 我々は,VLMが人間の運転動作を模倣できるコンテキスト適応推論ゲート機構を開発した。
  論文  参考訳（メタデータ） (2025-07-27T16:15:21Z)
• Parallels Between VLA Model Post-Training and Human Motor Learning: Progress, Challenges, and Trends [11.678954304546988]
  視覚言語アクション(VLA)モデル拡張視覚言語モデル(VLM) 本稿では,人間の運動学習のレンズによるVLAモデルの訓練戦略についてレビューする。
  論文  参考訳（メタデータ） (2025-06-26T03:06:57Z)
• CronusVLA: Transferring Latent Motion Across Time for Multi-Frame Prediction in Manipulation [67.1520483301709]
  CronusVLAはシングルフレームのVLAモデルを効率的な後トレーニング段階を通じてマルチフレームのパラダイムに拡張する統合フレームワークである。 CronusVLAはSimplerEnvの最先端のパフォーマンスを70.9%の成功率で達成し、LIBEROのOpenVLAよりも12.7%改善した。
  論文  参考訳（メタデータ） (2025-06-24T17:30:27Z)
• VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning [77.34267241692706]
  Vision-Language Navigation(VLN)は、エージェントが自然言語命令を使用して現実世界の環境をナビゲートする必要がある、AIの実施における中核的な課題である。 本稿では、LVLM(Large Vision-Language Models)を利用して、エゴセントリックな動画ストリームを連続的なナビゲーションアクションに変換するエンドツーエンドフレームワークであるVLN-R1を提案する。
  論文  参考訳（メタデータ） (2025-06-20T17:59:59Z)
• Unlocking Smarter Device Control: Foresighted Planning with a World Model-Driven Code Execution Approach [82.27842884709378]
  本研究では,自然言語理解と構造化推論を優先し,エージェントの環境に対するグローバルな理解を高める枠組みを提案する。 本手法は,従来の手法,特にタスク成功率の44.4%向上を達成している。
  論文  参考訳（メタデータ） (2025-05-22T09:08:47Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)
• Generative Planning with 3D-vision Language Pre-training for End-to-End Autonomous Driving [20.33096710167997]
  GPVLという名前の3次元言語事前学習モデルによる生成計画がエンドツーエンドの自動運転のために提案されている。 クロスモーダル言語モデルを導入し、総合的な駆動決定と微粒な軌跡を生成する。 GPVLの効果的で堅牢で効率的な性能は、将来の自動運転システムの実用化に不可欠であると考えられている。
  論文  参考訳（メタデータ） (2025-01-15T15:20:46Z)
• Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives [89.34229413345541]
  本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
  論文  参考訳（メタデータ） (2020-03-19T15:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。