論文の概要: Moving by Looking: Towards Vision-Driven Avatar Motion Generation
- arxiv url: http://arxiv.org/abs/2509.19259v1
- Date: Tue, 23 Sep 2025 17:18:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-24 20:41:27.976164
- Title: Moving by Looking: Towards Vision-Driven Avatar Motion Generation
- Title（参考訳）: 視線による移動:視覚駆動型アバター運動生成に向けて
- Authors: Markos Diomataris, Berat Mert Albaba, Giorgio Becherini, Partha Ghosh, Omid Taheri, Michael J. Black,
- Abstract要約: CLOPSは、エゴセントリックな視力だけで周囲を知覚し、移動する最初の人間のアバターである。
我々は、大きなモーションキャプチャーデータセット上で、モーション先行モデルをトレーニングする。
次に、Qラーニングを用いてポリシーを訓練し、エゴセントリックな視覚入力を前もって動きの高レベル制御コマンドにマッピングする。
- 参考スコア（独自算出の注目度）: 43.07045613584429
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The way we perceive the world fundamentally shapes how we move, whether it is how we navigate in a room or how we interact with other humans. Current human motion generation methods, neglect this interdependency and use task-specific ``perception'' that differs radically from that of humans. We argue that the generation of human-like avatar behavior requires human-like perception. Consequently, in this work we present CLOPS, the first human avatar that solely uses egocentric vision to perceive its surroundings and navigate. Using vision as the primary driver of motion however, gives rise to a significant challenge for training avatars: existing datasets have either isolated human motion, without the context of a scene, or lack scale. We overcome this challenge by decoupling the learning of low-level motion skills from learning of high-level control that maps visual input to motion. First, we train a motion prior model on a large motion capture dataset. Then, a policy is trained using Q-learning to map egocentric visual inputs to high-level control commands for the motion prior. Our experiments empirically demonstrate that egocentric vision can give rise to human-like motion characteristics in our avatars. For example, the avatars walk such that they avoid obstacles present in their visual field. These findings suggest that equipping avatars with human-like sensors, particularly egocentric vision, holds promise for training avatars that behave like humans.
- Abstract（参考訳）: 世界を知覚する方法は、部屋の中をナビゲートする方法や、他の人間との対話の仕方など、基本的に私たちの動きを形作っています。
現在の人間の動作生成法では、この相互依存を無視し、人間のものと根本的に異なるタスク固有の「知覚」を使用する。
我々は、人間のような行動を生み出すには、人間のような知覚が必要であると論じる。
そこで本研究では,エゴセントリックな視覚のみを用いて周囲を知覚し,ナビゲートする最初のヒトアバターであるCLOPSを紹介します。
既存のデータセットは、シーンのコンテキストなしに、人間の動きを分離するか、スケールを欠いている。
我々は、視覚入力をモーションにマッピングする高レベル制御の学習から、低レベルのモーションスキルの学習を分離することで、この課題を克服する。
まず、大きなモーションキャプチャーデータセット上で、モーション先行モデルをトレーニングする。
次に、Qラーニングを用いてポリシーを訓練し、エゴセントリックな視覚入力を前もって動きの高レベル制御コマンドにマッピングする。
我々の実験は、エゴセントリックな視覚がアバターに人間のような運動特性をもたらすことを実証的に実証した。
例えば、アバターは、視覚野に存在する障害物を避けるために歩く。
これらの結果は、アバターに人間のようなセンサー、特に自我中心の視覚を装着すると、人間のように振る舞うアバターの訓練が約束されることを示唆している。
関連論文リスト
- EgoAnimate: Generating Human Animations from Egocentric top-down Views [3.035601871864059]
ControlNetとStable Diffusionのバックボーンを用いて、トップダウン画像からリアルなフロントビューを生成するパイプラインを導入する。
これにより、最小限の入力からアバターの動きを生成することができ、よりアクセスしやすく一般化可能なテレプレゼンスシステムへの道を開くことができる。
論文 参考訳（メタデータ） (2025-07-12T09:59:31Z) - EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars [56.56236652774294]
本研究では,光合成デジタルアバターを共同でモデル化し,同時に1つの自我中心映像から駆動する人物中心型テレプレゼンス手法を提案する。
提案手法は,エゴセントリック・フォトリアル・テレプレゼンスへの明確な一歩として,ベースラインと競合する手法に優れることを示す。
論文 参考訳（メタデータ） (2024-09-22T22:50:27Z) - Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。
本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。
アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
論文 参考訳（メタデータ） (2023-07-04T21:57:05Z) - Interaction Replica: Tracking Human-Object Interaction and Scene Changes From Human Motion [48.982957332374866]
人間による変化をモデル化することは、デジタル双生児を作るのに不可欠である。
本手法は,シーン中の人間の視覚的位置決めとIMUデータからの人間とシーンの相互作用に関する接触に基づく推論を組み合わせたものである。
私たちのコード、データ、モデルは、プロジェクトのページ http://virtual humans.mpi-inf.mpg.de/ireplica/.comで公開されています。
論文 参考訳（メタデータ） (2022-05-05T17:58:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。