論文の概要: Humanoid-VLA: Towards Universal Humanoid Control with Visual Integration

• arxiv url: http://arxiv.org/abs/2502.14795v2
• Date: Fri, 21 Feb 2025 08:09:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 13:04:29.579309
• Title: Humanoid-VLA: Towards Universal Humanoid Control with Visual Integration
• Title（参考訳）: Humanoid-VLA:ビジュアル統合によるユニバーサルヒューマノイド制御を目指して
• Abstract要約: 本稿では,言語理解,エゴセントリックなシーン認識,モーションコントロールを統合し,普遍的なヒューマノイド制御を実現する新しいフレームワークを提案する。 Humanoid-VLAは、テキスト記述と組み合わせた非エゴセントリックな人間の動きデータセットを使用して、言語運動の事前アライメントから始まる。 そして、パラメータを効率よくビデオコンディショニングすることで、エゴセントリックな視覚コンテキストを取り入れ、コンテキスト認識モーション生成を可能にする。
• 参考スコア（独自算出の注目度）: 28.825612240280822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the limitations of current humanoid robot control frameworks, which primarily rely on reactive mechanisms and lack autonomous interaction capabilities due to data scarcity. We propose Humanoid-VLA, a novel framework that integrates language understanding, egocentric scene perception, and motion control, enabling universal humanoid control. Humanoid-VLA begins with language-motion pre-alignment using non-egocentric human motion datasets paired with textual descriptions, allowing the model to learn universal motion patterns and action semantics. We then incorporate egocentric visual context through a parameter efficient video-conditioned fine-tuning, enabling context-aware motion generation. Furthermore, we introduce a self-supervised data augmentation strategy that automatically generates pseudoannotations directly derived from motion data. This process converts raw motion sequences into informative question-answer pairs, facilitating the effective use of large-scale unlabeled video data. Built upon whole-body control architectures, extensive experiments show that Humanoid-VLA achieves object interaction and environment exploration tasks with enhanced contextual awareness, demonstrating a more human-like capacity for adaptive and intelligent engagement.
• Abstract（参考訳）: 本稿では,反応機構に依存し,データ不足による自律的相互作用能力に欠ける,現在のヒューマノイドロボット制御フレームワークの限界に対処する。 本稿では,言語理解,エゴセントリックなシーン認識,モーションコントロールを統合し,汎用的なヒューマノイド制御を実現するHumanoid-VLAを提案する。 ヒューマノイド-VLAは、テキスト記述と組み合わせた非エゴセントリックな人間の動きデータセットを使用して、言語運動事前アライメントから始まり、モデルがユニバーサルな動きパターンとアクションセマンティクスを学習できるようにする。 そして、パラメータを効率よくビデオコンディショニングすることで、エゴセントリックな視覚コンテキストを取り入れ、コンテキスト認識モーション生成を可能にする。 さらに,動作データから直接擬似アノテーションを自動生成する自己教師型データ拡張戦略を導入する。 このプロセスは、生の動作シーケンスを情報的質問応答ペアに変換し、大規模未ラベル映像データの有効利用を容易にする。 全体制御アーキテクチャを基盤とした広範な実験により、ヒューマノイド-VLAは、適応的でインテリジェントなエンゲージメントのための、より人間的な能力を示すとともに、コンテキスト認識を増強したオブジェクトインタラクションと環境探索タスクを達成することが示されている。

関連論文リスト

• AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
  我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。 私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。 大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-29T12:55:15Z)
• EgoPriMo: Egocentric Motion Generation for Interactive Humanoid Control [19.169686105053433]
  EgoPriMoはスケーラブルでインタラクティブなヒューマノイドモーションのフレームワークである。 SMPLベースのフルボディモーションを再構成し、生成し、予測する。 1つのチェックポイントは、UniEgoMotionよりもエゴセントリックなモーション生成を改善する。
  論文  参考訳（メタデータ） (2026-06-07T07:49:19Z)
• EggHand: A Multimodal Foundation Model for Egocentric Hand Pose Forecasting [11.687067206676625]
  EggHandは、エゴセントリックな手ポーズ予測のための基盤モデルベースのフレームワークである。 動的モーションモデリングとマルチモーダルなセマンティック推論を統一する。 提案手法は,エゴモーション下でのジェネリックビジュアルエンコーダの脆さを克服する。
  論文  参考訳（メタデータ） (2026-05-08T12:09:27Z)
• ZeroWBC: Learning Natural Visuomotor Humanoid Control Directly from Human Egocentric Video [52.78703020909145]
  我々は、人間中心のビデオから直接、自然なヒューマノイドビジュモータ制御ポリシーを学ぶ新しいフレームワークであるZeroWBCを紹介した。 提案手法はまず視覚言語モデル(VLM)を微調整し,テキスト命令とエゴセントリックな視覚コンテキストに基づく将来の身体全体の動作を予測する。 ユニツリーG1ヒューマノイドロボットの実験では,動作の自然性と汎用性において,本手法がベースラインアプローチより優れていることが示された。
  論文  参考訳（メタデータ） (2026-03-10T04:19:43Z)
• ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation [55.467742403416175]
  本稿では,大規模モーションキャプチャをヒューマノイドに変換する物理駆動型ニューラルネットワークを提案する。 我々は高密度参照とスパースタスク仕様の両方をサポートする統合マルチモーダルコントローラを学習する。 その結果,ULTRAは自我中心の知覚から,自律的,目標条件付き全体ロコ操作に一般化することが示された。
  論文  参考訳（メタデータ） (2026-03-03T18:59:29Z)
• EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
  EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。 スケーラブルな人的データ収集のためのポータブルシステムを開発した。
  論文  参考訳（メタデータ） (2026-02-10T18:59:03Z)
• EgoActor: Grounding Task Planning into Spatial-aware Egocentric Actions for Humanoid Robots via Visual-Language Models [31.768426199719816]
  EgoActingは,高レベルの指示を様々な,正確に,空間的に認識されたヒューマノイド行動に直結させることが要求される。 さらに,ロコモーションプリミティブを予測可能な,統一的でスケーラブルな視覚言語モデル(VLM)であるEgoActorを導入することで,このタスクをインスタンス化する。 我々は,実世界の実演,空間的推論質問応答,シミュレートされた環境デモンストレーションから,エゴセントリックなRGBのみのデータに対する広範囲の監視を活用している。
  論文  参考訳（メタデータ） (2026-02-04T13:04:56Z)
• MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
  人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。 MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
  論文  参考訳（メタデータ） (2025-12-17T12:59:41Z)
• VHOI: Controllable Video Generation of Human-Object Interactions from Sparse Trajectories via Motion Densification [65.15340059997273]
  VHOIは、ビデオにおける現実的な人間とオブジェクトの相互作用を作成するためのフレームワークである。 そこで本研究では,人体と物体の運動だけでなく,身体部分特異的な動特性も識別するために,色エンコーディングを用いた新しいHOI対応動作表現を提案する。 実験は、制御可能なHOIビデオ生成における最先端の結果を示す。
  論文  参考訳（メタデータ） (2025-12-10T13:40:24Z)
• Learning Primitive Embodied World Models: Towards Scalable Robotic Learning [50.32986780156215]
  我々は,世界モデリングのための新しいパラダイム--Primitive Embodied World Models (PEWM)を提案する。 ビデオ生成を固定的な短地平線に制限することにより,ロボット行動の言語概念と視覚的表現の微妙なアライメントを可能にする。 我々のフレームワークは、きめ細かい物理的相互作用と高レベルの推論のギャップを埋め、スケーラブルで解釈可能で汎用的なインテリジェンスへの道を開く。
  論文  参考訳（メタデータ） (2025-08-28T14:31:48Z)
• Perceiving and Acting in First-Person: A Dataset and Benchmark for Egocentric Human-Object-Human Interactions [110.43343503158306]
  本稿では、手動支援タスクを視覚言語アクションフレームワークに組み込み、そのアシスタントは、自我中心のビジョンとコマンドに従ってインストラクターにサービスを提供する。 この設定の下で、我々は、マルチモーダルデータの11.4時間1.2Mフレームを持つ、最初の大規模人・物・人間のインタラクションデータセットであるInterVLAを達成した。 我々は,エゴセントリックな人の動き推定,相互作用合成,および包括的分析による相互作用予測に関する新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-08-06T17:46:23Z)
• DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge [56.3802428957899]
  本稿では,逆動力学モデリングを実現するために,包括的世界知識予測を統合した新しいVLAフレームワークであるDreamVLAを提案する。 DreamVLAは、動的領域誘導の世界知識予測を導入し、空間的および意味的な手がかりと統合し、アクション計画のためのコンパクトで包括的な表現を提供する。 実世界とシミュレーション環境での実験では、ドリームVLAが実際のロボットタスクで76.7%の成功率を達成したことが示されている。
  論文  参考訳（メタデータ） (2025-07-06T16:14:29Z)
• HunyuanVideo-HOMA: Generic Human-Object Interaction in Multimodal Driven Human Animation [26.23483219159567]
  HunyuanVideo-HOMAは、弱い条件付きマルチモーダル駆動のフレームワークである。 多モード拡散変圧器の二重入力空間に外観と運動信号を符号化する。 解剖学的に一貫した物理的に安定な相互作用を合成する。
  論文  参考訳（メタデータ） (2025-06-10T13:45:00Z)
• ViSA-Flow: Accelerating Robot Skill Learning via Large-Scale Video Semantic Action Flow [4.2766838326810355]
  教師なし大規模ビデオデータから事前ラベル付き表現を学習するフレームワークであるViSA-Flowを提案する。 まず、大規模人-物間相互作用ビデオデータから、生成訓練された意味行動の流れを自動的に抽出する。 第2に、この前者は、同じセマンティック抽象化パイプラインで処理された小さなロボットのデモセットを微調整することで、ターゲットロボットに効率的に適応する。
  論文  参考訳（メタデータ） (2025-05-02T14:03:06Z)
• Human-Object Interaction via Automatically Designed VLM-Guided Motion Policy [30.43930233035367]
  VLM(Vision-Language Models)を利用した最初の統合物理ベースのHOフレームワークを紹介する。 VLM-Guided Relative Movement Dynamics (RMD)を導入する。これは、強化学習のための目標状態と報酬関数を自動的に構築する、微細な時間的二部運動表現である。 提案手法をサポートするために,何千もの長期の静的および動的相互作用計画を持つ新しいデータセットであるInterplayを提案する。
  論文  参考訳（メタデータ） (2025-03-24T05:18:04Z)
• HA-VLN: A Benchmark for Human-Aware Navigation in Discrete-Continuous Environments with Dynamic Multi-Human Interactions, Real-World Validation, and an Open Leaderboard [63.54109142085327]
  VLN(Vision-and-Language Navigation)システムは、離散(パノラマ)または連続(フリーモーション)のパラダイムのみに焦点を当てることが多い。 我々は、これらのパラダイムを明示的な社会的認識制約の下でマージする統合されたヒューマン・アウェアVLNベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-03-18T13:05:55Z)
• InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
  我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。 私たちの重要な洞察は、大規模ビデオデータからインタラクティブなダイナミクスを学習することで、大きなビデオファンデーションモデルがニューラルと暗黙の物理シミュレータの両方として機能できるということです。
  論文  参考訳（メタデータ） (2024-12-16T13:57:02Z)
• doScenes: An Autonomous Driving Dataset with Natural Language Instruction for Human Interaction and Vision-Language Navigation [0.0]
  doScenesは、人間と車両の命令インタラクションの研究を促進するために設計された、新しいデータセットである。 DoScenesは命令と駆動応答のギャップを埋め、コンテキスト認識と適応計画を可能にする。
  論文  参考訳（メタデータ） (2024-12-08T11:16:47Z)
• IGOR: Image-GOal Representations are the Atomic Control Units for Foundation Models in Embodied AI [28.160367249993318]
  Image-Goal Representations (IGOR)は、人間やさまざまなロボットにまたがる統一的で意味的に一貫したアクション空間を学習する。 IGORは大規模ロボットと人間の活動データ間の知識伝達を可能にする。 我々はIGORが人間とロボットの知識伝達と制御の新しい可能性を開くと考えている。
  論文  参考訳（メタデータ） (2024-10-17T13:41:16Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• Object Motion Guided Human Motion Synthesis [22.08240141115053]
  大規模物体の操作におけるフルボディ人体動作合成の問題点について検討する。 条件付き拡散フレームワークであるOMOMO(Object Motion Guided Human Motion synthesis)を提案する。 我々は、操作対象物にスマートフォンを装着するだけで、全身の人間の操作動作をキャプチャする新しいシステムを開発した。
  論文  参考訳（メタデータ） (2023-09-28T08:22:00Z)
• Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations [61.659439423703155]
  TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成 本手法は時間座標のみでパラメータ化される連続運動を生成する。 この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
  論文  参考訳（メタデータ） (2023-03-23T09:31:56Z)
• Narrator: Towards Natural Control of Human-Scene Interaction Generation via Relationship Reasoning [34.00107506891627]
  テキスト記述から現実的で多様なHSIを自然かつ制御的に生成することに焦点を当てる。 本研究では,新たな関係推論に基づく生成手法であるNarratorを提案する。 我々の実験と知覚学的研究は、Narratorが様々な相互作用を制御可能であり、既存の作品よりもはるかに優れていることを示している。
  論文  参考訳（メタデータ） (2023-03-16T15:44:15Z)
• GIMO: Gaze-Informed Human Motion Prediction in Context [75.52839760700833]
  本研究では、高品質なボディポーズシーケンス、シーンスキャン、目視によるエゴ中心のビューを提供する大規模な人体動作データセットを提案する。 私たちのデータ収集は特定のシーンに縛られません。 視線の全可能性を実現するために,視線と運動枝の双方向通信を可能にする新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-04-20T13:17:39Z)
• Model Predictive Control for Fluid Human-to-Robot Handovers [50.72520769938633]
  人間の快適さを考慮に入れた計画運動は、人間ロボットのハンドオーバプロセスの一部ではない。 本稿では,効率的なモデル予測制御フレームワークを用いてスムーズな動きを生成することを提案する。 ユーザ数名の多様なオブジェクトに対して,人間とロボットのハンドオーバ実験を行う。
  論文  参考訳（メタデータ） (2022-03-31T23:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。