論文の概要: EgoLAP: Learning from Egocentric Human Data through Language-Action Reasoning
- arxiv url: http://arxiv.org/abs/2610.08726v1
- Date: Tue, 06 Oct 2026 17:30:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.149393
- Title: EgoLAP: Learning from Egocentric Human Data through Language-Action Reasoning
- Title（参考訳）: EgoLAP:言語行動推論による人間中心データからの学習
- Abstract要約: EgoLAPは、人間とロボットの軌道から学習する事前学習フレームワークである。
EgoLAPは、代替アクション表現よりも効果的に、人間の体験をロボット制御に転送することを示す。
- 参考スコア（独自算出の注目度）: 16.85917040836011
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Egocentric human data offer a path to scaling robot learning beyond costly robot demonstrations, yet the embodiment gap makes raw human trajectories a poor supervisory target for control. Our key insight is that, although low-level actions are embodiment-specific, their underlying motion intent can capture task-relevant structure that transfers across humans and robots. We introduce EgoLAP, a VLA pre-training framework that jointly learns from human and robot trajectories through a shared language-based action chain-of-thought. EgoLAP expresses motion intent as structured, temporally abstracted language actions and pairs them with motion-level reasoning grounded in scene geometry, physics, and object affordances. Across extensive real-world and simulated experiments, EgoLAP transfers human experience to robot control more effectively than alternative action representations and reaches 80.1% mean real-world task progress, a 2.3x performance gain over alternative action representations. Motion-level reasoning also outperforms a composite reasoning format that combines subtask, object-box, and visual-trace reasoning.
- Abstract（参考訳）: エゴセントリックな人間のデータは、コストのかかるロボットのデモを超えて、ロボットの学習をスケールするための道を提供する。
我々の重要な洞察は、低レベルな行動は具体的だが、その基盤となる動き意図は、人間とロボットの間で伝達されるタスク関連構造を捉えることができるということだ。
本稿では,人間とロボットの軌跡から共同で学習するVLA事前学習フレームワークであるEgoLAPを紹介する。
EgoLAPは、構造的、時間的に抽象化された言語行動として動きの意図を表現し、シーン幾何学、物理、そしてオブジェクトの余裕を基礎とした動きレベルの推論と組み合わせる。
EgoLAPは、広範囲にわたる実世界の実験とシミュレーション実験を通じて、人間の体験を代替行動表現よりも効果的にロボット制御に移行し、80.1%の平均的な実世界のタスク進歩、代替行動表現よりも2.3倍のパフォーマンス向上を達成した。
モーションレベルの推論は、サブタスク、オブジェクトボックス、ビジュアルトレース推論を組み合わせた複合推論フォーマットよりも優れています。
関連論文リスト
- World Action Learning via Interaction-Centric Spectral Latent Guidance [22.280392627354654]
WING(World Action Learning via Interaction-Centric Spectral Latent Guidance)は、エゴセントリックなビデオからロボットポリシーにインタラクション知識を移行するためのフレームワークである。
クロス・エボディメント・タスク・セマンティクスはゆっくりと変化する時間構造に集中しているという観察を生かしている。
LIBEROは99.20%、RoboTwin 2.0は93.80%、RoboCasa-GR1は57.7%である。
論文 参考訳（メタデータ） (2026-10-02T17:08:12Z) - ViLoMan: Learning Visual-Proprioceptive Whole-Body Loco-Manipulation Skills for Humanoid Robots [56.6238848953359]
ViLoManは、自律的なヒューマノイドロコ操作のためのスケーラブルなフレームワークである。
自我中心の深度観測と主観的測定を直接ジョイントレベル全体の行動にマッピングする統一的なポリシーを学ぶ。
論文 参考訳（メタデータ） (2026-09-16T19:10:13Z) - AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。
私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。
大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
論文 参考訳（メタデータ） (2026-08-29T12:55:15Z) - HARP-VLA: Human-Robot Aligned Representation Learning for Vision-Language-Action Model [13.153130497047043]
大規模な人間のビデオから一般化可能な視覚-言語-アクションモデルを学ぶことは有望だが、断熱的不一致のため難しい。
本稿では,人間のビデオからより効果的なVLA事前学習のための人間ロボット協調表現学習フレームワークであるHARPを提案する。
特徴可視化、シミュレーション、実世界の操作実験は、人間ロボットのアライメントと下流ポリシーのパフォーマンスを改善した。
論文 参考訳（メタデータ） (2026-05-29T12:36:30Z) - EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。
スケーラブルな人的データ収集のためのポータブルシステムを開発した。
論文 参考訳（メタデータ） (2026-02-10T18:59:03Z) - EgoActor: Grounding Task Planning into Spatial-aware Egocentric Actions for Humanoid Robots via Visual-Language Models [31.768426199719816]
EgoActingは,高レベルの指示を様々な,正確に,空間的に認識されたヒューマノイド行動に直結させることが要求される。
さらに,ロコモーションプリミティブを予測可能な,統一的でスケーラブルな視覚言語モデル(VLM)であるEgoActorを導入することで,このタスクをインスタンス化する。
我々は,実世界の実演,空間的推論質問応答,シミュレートされた環境デモンストレーションから,エゴセントリックなRGBのみのデータに対する広範囲の監視を活用している。
論文 参考訳（メタデータ） (2026-02-04T13:04:56Z) - MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。
MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
論文 参考訳（メタデータ） (2025-12-17T12:59:41Z) - Mind to Hand: Purposeful Robotic Control via Embodied Reasoning [12.275897522668858]
ロボットの推論(「ミンド」)とロボットの動作(「手」)を統一するモデルであるLumo-1を紹介する。
我々のアプローチは、事前学習された視覚言語モデル(VLM)の一般的なマルチモーダル推論能力に基づいている。
我々は、強化学習を統合し、推論-動作の一貫性をさらに洗練し、意味推論と運動制御のループを閉じる。
論文 参考訳（メタデータ） (2025-12-09T13:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。