論文の概要: FineVLA: Fine-Grained Instruction Alignment for Steerable Vision-Language-Action Policies

• arxiv url: http://arxiv.org/abs/2605.27284v1
• Date: Tue, 26 May 2026 17:01:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.469676
• Title: FineVLA: Fine-Grained Instruction Alignment for Steerable Vision-Language-Action Policies
• Title（参考訳）: FineVLA:ステアブル・ビジョン・ランゲージ・アクション・ポリシーのためのファイングラインドインストラクションアライメント
• Authors: Xintong Hu, Xuhong Huang, Jinyu Zhang, Yutong Yao, Yuchong Sun, Qiuyue Wang, Mingsheng Li, Sicheng Xie, Yitao Liu, Junhao Chen, Yixuan Chen, Yingming Zheng, Shuai Bai, Tao Yu,
• Abstract要約: FineVLAは、アクションアライメントされたきめ細かいVLA監視のためのオープンフレームワークである。 オープンソースの10のロボットデータセットから85Kタスクにまたがる992,247のトラジェクトリを統一する。 500本のビデオ、10,816件の原子性事実と1,030件のVQA質問のベンチマークがある。
• 参考スコア（独自算出の注目度）: 26.96931937675281
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vision-Language-Action (VLA) models are increasingly expected to not only complete robot tasks, but also follow human instructions about how those tasks should be executed. However, existing robot datasets usually pair trajectories with coarse goal-level language, leaving execution-critical details such as active arm, approach direction, and contact region unspecified. This limits steerable policy learning and robotic video understanding. We introduce FineVLA, an open framework for action-aligned fine-grained VLA supervision. The framework includes: (1) a data construction tool that unifies 972,247 trajectories across 85K tasks from 10 open-source robot datasets and builds FineVLA-Data, a human-verified dataset of 47,159 fine-grained trajectories; (2) a held-out benchmark with 500 videos, 10,816 atomic facts, and 1,030 VQA questions; (3) a robotics-specialized VLM annotator for scalable fine-grained annotation; and (4) a steerable VLA policy trained with controlled mixtures of fine-grained and raw goal-level instructions. Our experiments yield three findings. First, fine-grained supervision does not sacrifice goal-level success: FG-only improves over Raw-only by +1.4 to +8.1 success-rate points across settings. Second, fine-grained and raw instructions are complementary, following a consistent inverted-U trend peaking at FG:Raw = 1:2 to 1:1. The best mixed setting reaches 86.8%/82.5% in RoboTwin simulation and 62.7/100 in real-world dual-arm manipulation (vs. 49.9 Raw-only). Third, fine-grained supervision improves steerable control: the largest real-world gains appear on pose (+23), color (+18), and approach direction (+18)--factors where goal-level instructions provide no guidance. Overall, fine-grained language should augment goal-level instructions: specifying how to execute alongside what to achieve. Project page: https://finevla.xlang.ai/
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、ロボットのタスクを完遂するだけでなく、そのタスクの実行方法に関する人間の指示に従うことがますます期待されている。 しかしながら、既存のロボットデータセットは、通常、粗い目標レベル言語とトラジェクトリを組み合わせ、アクティブアーム、アプローチ方向、接触領域などの実行クリティカルな詳細を未特定のまま残している。 これにより、操縦可能なポリシー学習とロボットビデオ理解が制限される。 アクションアライメントされた細粒度VLA監視のためのオープンフレームワークであるFineVLAを紹介する。 このフレームワークは、(1)オープンソースの10のロボットデータセットから85Kタスクにまたがる972,247のトラジェクトリを統一し、47,159のきめ細かいトラジェクトリの人間認証データセットであるFineVLA-Dataを構築するデータ構築ツール、(2)500のビデオ、10,816の原子的事実、1,030のVQA質問によるホールトアウトベンチマーク、(3)スケーラブルなきめ細かいアノテーションのためのロボット特化VLMアノテーション、(4)きめ細かな目標レベルの指示の制御された混合で訓練されたステアブルなVLAポリシーを含む。 私たちの実験は3つの結果を得た。 まず、細かい監督はゴールレベルの成功を犠牲にしない: FG-onlyはRaw-onlyを+1.4から+8.1に改善する。 2つ目は、FG:Raw = 1:2 から 1:1 にピークとなる一貫した逆U トレンドに従って、きめ細かな命令と生の命令が相補的であることである。 最も良い混合条件は、RoboTwinシミュレーションで86.8%/82.5%、実世界のデュアルアーム操作で62.7/100に達する(vs. 49.9 Raw-only)。 第3に、きめ細かい監督により、操舵制御が改善される: ポーズ(+23)、色(+18)、アプローチ方向(+18)に、ゴールレベルの指示が提供されない最大の現実世界のゲインが現れる。 全体として、きめ細かい言語はゴールレベルの指示を拡大すべきである。 プロジェクトページ: https://finevla.xlang.ai/

関連論文リスト

• Human-to-Robot Interaction: Learning from Video Demonstration for Robot Imitation [5.967530183571141]
  人間とロボットの模倣学習パイプラインは、ロボットが非構造化ビデオデモから直接操作スキルを取得することを可能にする。 鍵となる革新は、学習プロセスを2つの異なる段階に分離するモジュラーフレームワークである。 ロボット操作では,全ての動作の平均成功率は87.5%であり,タスク達成で100%,複雑なピック・アンド・プレイス操作で90%に達する。
  論文  参考訳（メタデータ） (2026-02-22T13:26:27Z)
• BridgeVLA: Input-Output Alignment for Efficient 3D Manipulation Learning with Vision-Language Models [37.699828966838986]
  BridgeVLAは、3D入力を複数の2D画像に投影し、VLMバックボーンとの入力アライメントを保証する新しい3D VLAモデルである。 アクション予測に2Dヒートマップを使用し、一貫した2次元画像空間内の入力空間と出力空間を統一する。 10以上のタスクで96.8%の成功率を達成することができ、1タスクにつき3つの軌道しか持たず、異常なサンプル効率を誇示している。
  論文  参考訳（メタデータ） (2025-06-09T17:36:34Z)
• RoboRefer: Towards Spatial Referring with Reasoning in Vision-Language Models for Robotics [67.11221574129937]
  空間参照は、3D物理世界と相互作用するエンボディロボットの基本的な能力である。 本稿では,まず空間的理解を正確に行うことのできる3次元VLMであるRoboReferを提案する。 RoboReferは、強化微調整による一般化された多段階空間推論を推進している。
  論文  参考訳（メタデータ） (2025-06-04T17:59:27Z)
• HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation [54.03004125910057]
  階層型視覚-言語-アクションモデルは、標準的なモノリシックVLAモデルよりも、ドメイン外のデータを利用するのに効果的であることを示す。 階層設計により、高レベルなVLMは、オフドメイン微調整データと実ロボットテストシナリオの間の重要なドメインギャップをまたいで転送可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-08T07:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。