論文の概要: Learning to Understand Body Language from Flight through Robust 3D Avatar Placing

• arxiv url: http://arxiv.org/abs/2607.27865v1
• Date: Thu, 30 Jul 2026 08:40:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.466082
• Title: Learning to Understand Body Language from Flight through Robust 3D Avatar Placing
• Title（参考訳）: ロバスト3次元アバタープレーティングによる身体言語理解の学習
• Abstract要約: Drones2BodyLanguageは、実際のUAV映像に人間の動きをベースとしたデータセットである。 10の通信意図を示すアバターは、メートル法的に正しい位置、スケール、配向を持つ、修正されていない4Kドローンシーンに置かれる。 シーンと動きを分離する12のアーキテクチャで、配置されたデータに対するトレーニングは、実際の、再ターゲットされた、生成された動きについても、幅広いマージンで平均意図の精度を引き上げます。
• 参考スコア（独自算出の注目度）: 6.623088068354071
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Perceiving human motion and intent at long range is a prerequisite for socially intelligent aerial robots, yet the data to learn it barely exists. We introduce Drones2BodyLanguage, a dataset grounding human motion in real UAV footage: avatars manifesting ten communicative intents are placed into unmodified 4K drone scenes with metrically correct position, scale and orientation, maintained over hundreds of frames of camera motion. Enabling it is a lightweight geometric world model of the local scene - semantically selected anchors lifted to 3D through streaming monocular depth - in which a placement point is predicted as an affine anchor combination with provably rigid-invariant weights, and re-rendered under an SVD-fitted ground rotation. Across twelve architectures on scene- and motion-disjoint splits, training on placed data lifts mean intent accuracy by a wide margin for real, retargeted and generated motion alike, with gains confirmed on two in-the-wild scenes.
• Abstract（参考訳）: 人間の動きや意図を長い範囲で知覚することは、社会的にインテリジェントな空中ロボットにとって必須条件だが、それを学習するデータはほとんど存在しない。 実際のUAV映像に人間の動きを基盤としたデータセットであるDrones2BodyLanguageを紹介した。 局所シーンの軽量な幾何学的世界モデルであり、意味的に選択されたアンカーは、モノクロ深度をストリーミングすることで3Dに持ち上げられ、配置点がアフィンアンカーと確固とした不変量の組み合わせとして予測され、SVDに適合した地上回転の下で再レンダリングされる。 シーン分割とモーション分割の12のアーキテクチャで、配置されたデータに対するトレーニングは、実際の、再ターゲットされた、生成されたモーションも同様に広いマージンで平均意図の精度を持ち上げ、その2つのシーンでゲインが確認される。

関連論文リスト

• GeomVLA: Unifying Scene, Motion, and Action in 3D [19.277341680583834]
  ロボット中心の3D座標フレーム内での知覚,潜時シーンの予測,行動生成を統一するモデルであるGeomVLAを提案する。 提案手法は, 深度とカメラキャリブレーションを用いた空間的に接地された3次元シーントークンに, 予め訓練したVLM特徴を持ち上げる。 本稿では,3D におけるシーンポイントの移動の遅延表現を学習するタスク条件付きモジュールである 3D Scene Trajectory Denoiser を紹介する。
  論文  参考訳（メタデータ） (2026-09-12T08:51:52Z)
• VLK: Learning Humanoid Loco-Manipulation from Synthetic Interactions in Reconstructed Scenes [71.14444761145435]
  知覚に基づくヒューマノイド・ロコ・マニピュレーションは、自我中心の観察とタスク・インストラクションを全身の動きに結びつける必要がある。 既存のデータソースがこれを完全に提供するものはありません。 このボトルネックに対処するために、再構成シーンで視覚・言語・運動学を総合的に指導する手法を提案する。
  論文  参考訳（メタデータ） (2026-06-29T17:59:55Z)
• GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
  GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。 GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。 我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。 GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
  論文  参考訳（メタデータ） (2026-06-03T17:57:45Z)
• RHINO: Reconstructing Human Interactions with Novel Objects from Monocular Videos [22.349788052973878]
  人々、オブジェクト、そしてそれらのインタラクションを3Dで再構築することは、インテリジェントシステムの長年の目標である。 これまでの作業のほとんどは、人間や物体を別々に扱い、それらの相互作用を無視したり、既知の3D形状やカメラを仮定したりしていた。 モノクラーRGBビデオから、人間の3D、新しい(見えない)操作対象、そして、共通の世界フレームの静的なシーンを復元するフレームワークであるRHINOを開発した。
  論文  参考訳（メタデータ） (2026-05-16T14:25:42Z)
• EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents [85.77432303199176]
  EmbodMocapは2つの動くiPhoneを使ったポータブルで安価なデータ収集パイプラインである。 私たちのキーとなるアイデアは、二重RGB-Dシーケンスを共同で校正し、人間とシーンの両方を再構築することです。 収集したデータに基づいて、我々は3つの具体的AIタスクを強化した: モノクラーヒューマン・シーン・リコンストラクション(モノクラーヒューマン・シーン・リコンストラクション)、メトリックスケールで世界空間に整合した人間とシーンを出力するフィードフォワードモデル、物理ベースのキャラクターアニメーション。
  論文  参考訳（メタデータ） (2026-02-26T16:53:41Z)
• SceMoS: Scene-Aware 3D Human Motion Synthesis by Planning with Geometry-Grounded Tokens [89.05195827071582]
  SceMoSはシーン対応モーション合成フレームワークである。 軽量な2Dキューを使用して、グローバルプランニングをローカル実行から切り離す。 SceMoSはTRUMANSベンチマークで最先端のモーションリアリズムと接触精度を達成する。
  論文  参考訳（メタデータ） (2026-02-24T02:09:12Z)
• Spatial-Aware VLA Pretraining through Visual-Physical Alignment from Human Videos [39.05067965462225]
  VLA(Vision-Language-Action)モデルでは、視覚認識と言語指導による政策学習を統合している。 現在、既存のほとんどのアプローチは3D物理環境でアクションを実行するために2Dビジュアルインプットに依存している。 本稿では,空間認識型VLA事前学習パラダイムを提案する。 3Dビジュアルエンコーダを組み込んだ2次元エンコーダアーキテクチャであるVIPA-VLAにより、このパラダイムをインスタンス化し、セマンティックビジュアル表現を3D認識機能で拡張する。
  論文  参考訳（メタデータ） (2025-12-15T08:31:47Z)
• LeviTor: 3D Trajectory Oriented Image-to-Video Synthesis [80.2461057573121]
  本研究では,新しい次元,すなわち深度次元との相互作用を増大させ,ユーザが軌道上の各点に対して相対的な深度を割り当てることを許す。 本稿では,オブジェクトマスクを数個のクラスタポイントに抽象化することで,画像から映像への3次元トラジェクトリ制御の先駆的手法を提案する。 静的画像から実写映像を生成する際の物体の動きを正確に操作する手法であるLeviTorの有効性を検証する実験を行った。
  論文  参考訳（メタデータ） (2024-12-19T18:59:56Z)
• Stereo4D: Learning How Things Move in 3D from Internet Stereo Videos [76.07894127235058]
  本稿では,インターネットの立体視,広角ビデオから高品質な4D再構成をマイニングするシステムを提案する。 本研究では,この手法を用いて世界整合型擬似3次元点雲の形で大規模データを生成する。 DUSt3Rの変種をトレーニングし、実世界の画像対から構造と3次元運動を予測することで、このデータの有用性を実証する。
  論文  参考訳（メタデータ） (2024-12-12T18:59:54Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Gravity-Aware Monocular 3D Human-Object Reconstruction [73.25185274561139]
  本稿では,共同マーカーレス3次元モーションキャプチャとモノクロRGB映像からの物体軌跡推定のための新しい手法を提案する。 自由飛行中に部分的に観察された物体を含むシーンに焦点を当てた。 実験では, 各種計測値を用いた3次元モーションキャプチャにおいて, 最先端の精度を実現する。
  論文  参考訳（メタデータ） (2021-08-19T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。