論文の概要: MoPort: A View-Aware 2D Interface for Motion Language Models
- arxiv url: http://arxiv.org/abs/2611.01541v1
- Date: Sun, 01 Nov 2026 04:11:25 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:17:27.462065
- Title: MoPort: A View-Aware 2D Interface for Motion Language Models
- Title（参考訳）: MoPort: モーション言語モデルのためのビュー対応2Dインターフェース
- Abstract要約: 動き言語モデル(MoLM)は、言語に基づく理解のための離散トークンとして3次元人間の動きを符号化する。
我々は、MoLMが2Dの観察を入力として行うことができるビュー対応2DインタフェースであるMoPortを提案する。
MoPortはHumanML3Dで0.5674、KIT-MLで0.3286のR@1を達成した。
- 参考スコア（独自算出の注目度）: 24.602670527062454
- License:
- Abstract: Motion language models (MoLMs) encode 3D human motion as discrete tokens for language-based understanding. Deploying them on monocular video raises two problems. Pose detection yields 2D joint sequences, leaving a dimensional gap from the 3D motion used in training. Moreover, the 2D observation changes with the camera viewpoint, while the depth lost in projection makes the 2D pose ambiguous across viewpoints. We propose MoPort, a view-aware 2D interface that enables MoLMs to take 2D observations as input. We introduce Paired View Alignment (PVA), which gives two views of the same motion a shared 3D teacher target and directly constrains the consistency of their latents, so that 2D observations from different viewpoints are mapped to a consistent semantic representation. Camera-Modulated Encoding (CME) estimates the camera extrinsics from the 2D sequence and uses them to modulate encoding, providing the 2D latents with geometric information about the viewpoint. MoPort achieves R@1 of 0.5674 on HumanML3D and 0.3286 on KIT-ML, outperforming all evaluated baselines. On HumanML3D, its R@1 decreases only from 0.5763 on in-distribution viewpoints to 0.5585 on out-of-distribution viewpoints. We validate portability on three downstream MoLMs. Furthermore, on the real-world RGB video dataset Fit3D, MoPort achieves 80.36\% accuracy. Code will be released upon acceptance.
- Abstract（参考訳）: 動き言語モデル(MoLM)は、言語に基づく理解のための離散トークンとして3次元人間の動きを符号化する。
モノクロビデオにデプロイすると、2つの問題が発生する。
姿勢検出により2次元の関節列が得られ、トレーニングで使用される3次元運動と次元的なギャップが残る。
さらに2次元観察はカメラの視点によって変化し、投射で失われた深度は2次元の視点をあいまいにする。
我々は、MoLMが2Dの観察を入力として行うことができるビュー対応2DインタフェースであるMoPortを提案する。
我々はPaired View Alignment (PVA)を導入し、同じ動きの2つのビューを共有の3D教師ターゲットに提供し、それらの潜伏者の一貫性を直接制約することで、異なる視点からの2D観察を一貫した意味表現にマッピングする。
カメラ変調符号化(CME)は、2Dシーケンスからカメラ外在物を推定し、それらを用いて符号化を変調し、2Dラテントに視点に関する幾何学的情報を提供する。
MoPortはHumanML3Dで0.5674、KIT-MLで0.3286のR@1を達成した。
HumanML3D では、その R@1 は分布外視点で 0.5763 から、分布外視点で 0.5585 に減少する。
3つの下流MOLM上でのポータビリティの検証を行った。
さらに、実世界のRGBビデオデータセットFit3Dでは、MoPortは80.36\%の精度を実現している。
コードは受理時にリリースされる。
関連論文リスト
- A Plug-and-Play 2D Motion Interface for Real-World Motion Language Models [14.724618805087436]
モーション言語モデル(MoLM)は一般的に3Dモーションをトークン化し、言語モデルを用いて結果のトークンを処理することで人間の動きを理解する。
本研究では, 3D-pretrained MoLMが原モデルの修正や微調整を行うことなく, 2Dモーション入力を受理できる2Dモーションインタフェースを提案する。
論文 参考訳（メタデータ） (2026-08-17T00:41:26Z) - VideoMDM: Towards 3D Human Motion Generation From 2D Supervision [13.408796377211559]
VideoMDMは、モノクロビデオから抽出された正確な2Dポーズから直接3Dの人間の動きを訓練するフレームワークである。
事前訓練された2D-to-3Dリフトは、ノイズの多い教師として機能する近似的な3Dポーズシーケンスを提供する。
軽微な仮定では、深度重み付けされた2次元再投射損失は、3次元の監督を期待する上で等価であることを示す。
論文 参考訳（メタデータ） (2026-06-11T13:49:23Z) - LocateAnything3D: Vision-Language 3D Detection with Chain-of-Sight [105.9472902251177]
次世代の予測問題として3D検出を行うVLMネイティブレシピを提案する。
このモデルでは, 49.89 AP_3Dの精度を+15.51倍に向上した。
論文 参考訳（メタデータ） (2025-11-25T18:59:45Z) - 2D or not 2D: How Does the Dimensionality of Gesture Representation Affect 3D Co-Speech Gesture Generation? [5.408549711581793]
本研究では,2次元もしくは3次元の関節座標を訓練データとして用いることが,音声から身近な深層生成モデルの性能に及ぼす影響について検討した。
生成した2Dポーズシーケンスを3Dに変換するためのリフトモデルを用いて,2Dで生成したジェスチャと3Dで生成したジェスチャを直接3Dスタックで生成し,次に3Dに変換する方法を評価する。
論文 参考訳（メタデータ） (2024-09-16T15:06:12Z) - EmbodiedSAM: Online Segment Any 3D Thing in Real Time [61.2321497708998]
身体的なタスクは、エージェントが探索と同時に3Dシーンを完全に理解する必要がある。
オンライン、リアルタイム、微粒化、高度に一般化された3D知覚モデルは、必死に必要である。
論文 参考訳（メタデータ） (2024-08-21T17:57:06Z) - Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud
Pre-training [65.75399500494343]
Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。
自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
論文 参考訳（メタデータ） (2023-02-27T17:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。