論文の概要: EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos

• arxiv url: http://arxiv.org/abs/2507.12440v3
• Date: Fri, 18 Jul 2025 07:18:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-21 12:36:33.518069
• Title: EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos
• Title（参考訳）: EgoVLA:エゴセントリックな人間のビデオから視覚-言語-行動モデルを学ぶ
• Authors: Ruihan Yang, Qinxi Yu, Yecheng Wu, Rui Yan, Borui Li, An-Chieh Cheng, Xueyan Zou, Yunhao Fang, Xuxin Cheng, Ri-Zhao Qiu, Hongxu Yin, Sifei Liu, Song Han, Yao Lu, Xiaolong Wang,
• Abstract要約: 本稿では,エゴセントリックな人間ビデオを用いたVLA(Vision-Language-Action)モデルのトレーニングについて検討する。 人間の手首と手の動きを予測する人間のビデオに基づいて訓練されたVLAによって、私たちはInverse Kinematicsを実行し、人間のアクションをロボットアクションに変換することができる。 シミュレーションベンチマークであるEgo Humanoid Manipulation Benchmarkを提案する。
• 参考スコア（独自算出の注目度）: 49.820119587446655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real robot data collection for imitation learning has led to significant advancements in robotic manipulation. However, the requirement for robot hardware in the process fundamentally constrains the scale of the data. In this paper, we explore training Vision-Language-Action (VLA) models using egocentric human videos. The benefit of using human videos is not only for their scale but more importantly for the richness of scenes and tasks. With a VLA trained on human video that predicts human wrist and hand actions, we can perform Inverse Kinematics and retargeting to convert the human actions to robot actions. We fine-tune the model using a few robot manipulation demonstrations to obtain the robot policy, namely EgoVLA. We propose a simulation benchmark called Ego Humanoid Manipulation Benchmark, where we design diverse bimanual manipulation tasks with demonstrations. We fine-tune and evaluate EgoVLA with Ego Humanoid Manipulation Benchmark and show significant improvements over baselines and ablate the importance of human data. Videos can be found on our website: https://rchalyang.github.io/EgoVLA
• Abstract（参考訳）: 模倣学習のための実際のロボットデータ収集は、ロボット操作に大きな進歩をもたらした。 しかし、このプロセスにおけるロボットハードウェアの要求は、データのスケールを根本的に制限する。 本稿では,エゴセントリックな人間ビデオを用いたVLA(Vision-Language-Action)モデルのトレーニングについて検討する。 人間のビデオを使うことの利点は、その規模だけでなく、シーンやタスクの豊かさにある。 人間の手首と手の動きを予測する人間のビデオに基づいて訓練されたVLAでは、逆キネマティクス(Inverse Kinematics)を実行して、人間のアクションをロボットアクションに変換する。 いくつかのロボット操作デモを用いてモデルを微調整し、ロボットポリシー、すなわちEgoVLAを得る。 シミュレーションベンチマークであるEgo Humanoid Manipulation Benchmarkを提案する。 Ego Humanoid Manipulation BenchmarkでEgoVLAを微調整し評価し、ベースラインよりも大幅に改善され、人間のデータの重要性が向上した。 ビデオは、われわれのWebサイトにある: https://rchalyang.github.io/EgoVLA

関連論文リスト

• EgoZero: Robot Learning from Smart Glasses [54.6168258133554]
  EgoZeroはProject Ariaスマートグラスで捉えた人間のデモから堅牢な操作ポリシーを学ぶ。 EgoZeroのポリシーをFranka Pandaロボットにデプロイし、7つの操作タスクに対して70%の成功率でゼロショット転送を実演する。 この結果から,実世界におけるロボット学習のためのスケーラブルな基盤として,現在地にある人間のデータを活用できることが示唆された。
  論文  参考訳（メタデータ） (2025-05-26T17:59:17Z)
• Crossing the Human-Robot Embodiment Gap with Sim-to-Real RL using One Human Demonstration [21.94699075066712]
  ロボットに巧妙な操作スキルを教えるには、何百ものデモをウェアラブルや遠隔操作で集める必要がある。 我々は,デクスタラスな操作ポリシーをトレーニングするための,新しい実-実-実-実-実-実-実-のフレームワークであるHuman2Sim2Robotを提案する。
  論文  参考訳（メタデータ） (2025-04-17T03:15:20Z)
• Humanoid Policy ~ Human Policy [26.01581047414598]
  人間行動変換器(HAT)と呼ばれる人-人-人-行動政策を訓練する。 HATのステートアクション空間は、人間とヒューマノイドロボットの両方に統一されており、ロボットのアクションに微分的に再ターゲットすることができる。 人間のデータは,HATの一般化と堅牢性の両方を改善し,データ収集効率を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2025-03-17T17:59:09Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)
• Visual IRL for Human-Like Robotic Manipulation [5.167226775583172]
  本研究では,協調ロボット(コボット)が操作タスクを学習し,それを人間的な方法で実行するための新しい手法を提案する。 本手法は,ロボットが人間の行動を観察してタスクの実行を学習する,LfO(Learning-from-observation)パラダイムに該当する。 2つの異なる現実的な操作課題に対して,本手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-12-16T01:23:13Z)
• EgoMimic: Scaling Imitation Learning via Egocentric Video [22.902881956495765]
  EgoMimicは、人間の体表データを介して操作をスケールするフルスタックフレームワークである。 EgoMimic は,1) エルゴノミクス・プロジェクト・Aria メガネを用いたヒトの体型データをキャプチャするシステム,2) 人体データとの運動的ギャップを最小限に抑える低コストなバイマティックマニピュレータ,(4) 人体データとロボットデータとのコトレーニングを行う模倣学習アーキテクチャ,の2つによって実現している。
  論文  参考訳（メタデータ） (2024-10-31T17:59:55Z)
• Latent Action Pretraining from Videos [156.88613023078778]
  一般行動モデル(LAPA)のための潜在行動事前訓練について紹介する。 LAPA(英: LAPA)は、VLA(Vision-Language-Action)モデルに接地型ロボットアクションラベルを含まない教師なしの訓練方法である。 本稿では,ロボットアクションラベルを持たないインターネット規模のビデオから学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T16:28:09Z)
• Vid2Robot: End-to-end Video-conditioned Policy Learning with Cross-Attention Transformers [36.497624484863785]
  Vid2Robotは、人間のビデオで操作タスクを入力として表現し、ロボットアクションを生成する、エンドツーエンドのビデオ条件付きポリシーである。 我々のモデルは、ビデオから人間とロボットのアクションの統一表現を学習するために、プロンプトロボット軌道対の大規模なデータセットを用いて訓練されている。 実世界のロボット上でのVid2Robotの評価を行い、人間のプロンプトビデオを用いた場合、BC-Zよりも20%以上の改善が見られた。
  論文  参考訳（メタデータ） (2024-03-19T17:47:37Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• Affordances from Human Videos as a Versatile Representation for Robotics [31.248842798600606]
  我々は、人間がどこでどのように対話するかを推定する視覚的余裕モデルを訓練する。 これらの行動割当の構造は、ロボットが多くの複雑なタスクを直接実行できるようにする。 私たちは、VRBと呼ばれる4つの現実世界環境、10以上のタスクと2つのロボットプラットフォームにおいて、私たちのアプローチの有効性を示します。
  論文  参考訳（メタデータ） (2023-04-17T17:59:34Z)
• Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
  我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。 我々の枠組みは、人間の手の動きを予測することに基づいている。 トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
  論文  参考訳（メタデータ） (2023-02-03T21:39:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。