論文の概要: NarrativeFlow: Flow-Based Vision-Language-Action Model Using Robot Velocity Fields
- arxiv url: http://arxiv.org/abs/2610.00981v1
- Date: Thu, 01 Oct 2026 03:18:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.876074
- Title: NarrativeFlow: Flow-Based Vision-Language-Action Model Using Robot Velocity Fields
- Title(参考訳): ナラティブフロー:ロボット速度場を用いたフローベース視覚言語行動モデル
- Abstract要約: ロボットの流れを具体化しない動き中心の表現として機能する言語条件のフローベース操作に着目した。
既存の方法は、疎いキーポイント変位を伴うロボットの流れを粗く近似するか、言語条件の操作を処理できないかのいずれかである。
本研究では,ロボットの連続速度場としての流れをモデル化するナラティブフローを提案する。
- 参考スコア(独自算出の注目度): 2.191585508275189
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We focus on language-conditioned flow-based manipulation, where robot flows (robot velocity fields) serve as embodiment-agnostic, motion-centric representations for leveraging data collected from multiple robot platforms. This task is crucial because language-conditioned manipulation is essential for practical robotic systems, yet scaling robot foundation models remains limited by the labor-intensive collection of embodiment-specific data. Existing methods either coarsely approximate robot flows with sparse keypoint displacements, or cannot handle language-conditioned manipulation. To address this limitation, we propose NarrativeFlow, which models robot flows as continuous velocity fields using a flow-matching formulation conditioned on language. Accordingly, NarrativeFlow generates robot flows that are physically consistent with real-world manipulation. To validate NarrativeFlow, we have conducted experiments on standard datasets for language-conditioned manipulation. The experimental results show that NarrativeFlow outperforms representative baseline methods on standard evaluation metrics. Furthermore, through real-world experiments, we show that NarrativeFlow achieves higher success rates than baseline methods across multiple manipulation tasks. The project page is available at https://shota0520.github.io/NarrativeFlow-project-page/
- Abstract(参考訳): 複数のロボットプラットフォームから収集したデータを活用するために,ロボットフロー(ロボットの速度場)が具体的,動作中心の表現として機能する言語条件のフローベース操作に注目した。
この課題は、実用的なロボットシステムには言語条件の操作が不可欠であるため重要であるが、ロボット基盤モデルのスケーリングは、エンボディメント固有のデータの労働集約的な収集によって制限されている。
既存の方法は、疎いキーポイント変位を伴うロボットの流れを粗く近似するか、言語条件の操作を処理できないかのいずれかである。
この制限に対処するために,言語を用いたフローマッチング定式化を用いて,ロボットの連続速度場としての流れをモデル化するNarrativeFlowを提案する。
そこでNarrativeFlowは、現実世界の操作と物理的に整合したロボットフローを生成する。
NarrativeFlowを検証するために,言語条件による操作のための標準データセットの実験を行った。
実験結果から,NarrativeFlowは標準評価基準における代表的ベースライン法よりも優れていた。
さらに、実世界の実験を通して、NarrativeFlowは複数の操作タスクのベースラインメソッドよりも高い成功率を達成することを示す。
プロジェクトページはhttps://shota0520.github.io/NarrativeFlow-project-page/で公開されている。
関連論文リスト
- ContextFlow: In-Context Flow Matching for Robot Manipulation [91.60992853468242]
本研究では,コンテキスト内模倣学習のための連続的な動作分布を学習する条件付きフローマッチングモデルであるContextFlowを紹介する。
LIBEROでは、ContextFlowがICRTを35パーセント上回っている。
実際のロボットでは、シングルアームとバイマニュアルの両方のタスクの見当たらない構成に一般化し、新しいペンアンカッピング構成で40%の成功を達成している。
論文 参考訳(メタデータ) (2026-09-06T21:53:58Z) - Flow as Flow: Modeling Robot Velocity Fields as Probability Velocity Fields for Flow-Based Object Manipulation [2.1080220393922113]
クロス・エボディメントのデータは、ロボット基礎モデルのトレーニングの中心となっている。
ロボットのフローがエンボディメントに依存しない動作表現として機能するフローベースオブジェクト操作に着目した。
本研究では,フローマッチングの定式化に基づいて,ロボットフローを確率フローとしてモデル化するフロー・アズ・フローを提案する。
論文 参考訳(メタデータ) (2026-06-22T09:36:30Z) - GenFlowRL: Shaping Rewards with Generative Object-Centric Flow in Visual Reinforcement Learning [79.68241687396603]
本稿では,多種多様な組織間データセットから学習した生成フローから,形状の報酬を導出するGenFlowRLを提案する。
GenFlowRLは、生成したオブジェクト中心の流れから抽出した操作機能を効果的に活用できることを、シミュレーションと実世界のクロスエボディメント評価の両方で実証した。
論文 参考訳(メタデータ) (2025-08-14T20:19:20Z) - Affordance-based Robot Manipulation with Flow Matching [7.51335919610328]
本稿では,ロボット操作支援のためのフレームワークを提案する。
第1に,大規模モデルを下流シーンの空き時間理解タスクに効果的に適用し,第2に,視覚的空き時間モデルに基づいて,効果的にロボット行動軌跡を学習する。
我々は,教師付きフローマッチング手法を用いて,ロボットの行動軌跡を空き時間で案内する。
論文 参考訳(メタデータ) (2024-09-02T09:11:28Z) - Flow as the Cross-Domain Manipulation Interface [73.15952395641136]
Im2Flow2Actは、現実世界のロボットのトレーニングデータを必要とせずに、ロボットが現実世界の操作スキルを習得することを可能にする。
Im2Flow2Actはフロー生成ネットワークとフロー条件ポリシーの2つのコンポーネントから構成される。
我々はIm2Flow2Actの様々な実世界のタスクにおいて、剛性、調音、変形可能なオブジェクトの操作を含む能力を実証する。
論文 参考訳(メタデータ) (2024-07-21T16:15:02Z) - DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model [72.66465487508556]
DiffGenは、微分可能な物理シミュレーション、微分可能なレンダリング、ビジョン言語モデルを統合する新しいフレームワークである。
言語命令の埋め込みとシミュレートされた観察の埋め込みとの距離を最小化することにより、現実的なロボットデモを生成することができる。
実験によると、DiffGenを使えば、人間の努力やトレーニング時間を最小限に抑えて、ロボットデータを効率よく、効果的に生成できる。
論文 参考訳(メタデータ) (2024-05-12T15:38:17Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳(メタデータ) (2023-12-11T22:54:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。