論文の概要: A Plug-and-Play 2D Motion Interface for Real-World Motion Language Models

• arxiv url: http://arxiv.org/abs/2608.15984v1
• Date: Mon, 17 Aug 2026 00:41:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.49542
• Title: A Plug-and-Play 2D Motion Interface for Real-World Motion Language Models
• Title（参考訳）: 実世界動作言語モデルのためのプラグアンドプレイ2Dモーションインタフェース
• Abstract要約: モーション言語モデル(MoLM)は一般的に3Dモーションをトークン化し、言語モデルを用いて結果のトークンを処理することで人間の動きを理解する。 本研究では, 3D-pretrained MoLMが原モデルの修正や微調整を行うことなく, 2Dモーション入力を受理できる2Dモーションインタフェースを提案する。
• 参考スコア（独自算出の注目度）: 14.724618805087436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motion Language Models (MoLMs) typically understand human motions by tokenizing 3D motion and processing the resulting tokens using a language model. However, obtaining accurate 3D motions from monocular videos is challenging, limiting their real-world applicability. To address this issue, we introduce a plug-and-play 2D Motion Interface that enables 3D-pretrained MoLMs to accept 2D motion inputs without modifying or fine-tuning the original models. Experiments on public datasets show that our method achieves performance comparable to 3D motion inputs across multiple MoLMs and outperforms training MoLMs from scratch on 2D motions. We further construct a monocular real-world video motion evaluation dataset and introduce a real-video adapter, demonstrating the usefulness of 2D motions over 3D motions under the evaluated monocular pose-estimation setting. These results suggest that 2D motion provides a practical interface for deploying MoLMs in real-world motion understanding settings. Code is available at https://github.com/irajisamurai/2D-Motion-Interface.
• Abstract（参考訳）: モーション言語モデル(MoLM)は一般的に3Dモーションをトークン化し、言語モデルを用いて結果のトークンを処理することで人間の動きを理解する。 しかし、モノクロビデオから正確な3Dモーションを取得することは困難であり、現実の応用性が制限される。 この問題に対処するために,3次元事前学習型MoLMにおいて,原モデルの修正や微調整を行うことなく2次元モーション入力を受理できる2次元モーションインタフェースを導入する。 複数のMOLMに対して3次元モーション入力に匹敵する性能を達成し、2次元モーションのスクラッチからMoLMを訓練する性能を向上することを示す。 さらに、モノクラー・リアル・ワールド・ビデオ・モーション・アセスメント・データセットを構築し、リアル・ビデオ・アダプタを導入し、評価されたモノクラー・ポーズ・アセスメント・セッティングの下での3次元・モーションに対する2次元・モーションの有用性を実証する。 これらの結果から,2次元動作は実世界の動作理解設定にMoLMをデプロイするための実用的なインタフェースを提供すると考えられる。 コードはhttps://github.com/irajisamurai/2D-Motion-Interfaceで公開されている。

関連論文リスト

• LUNA: Learning Universal 3D Human Animation Beyond Skinning [67.77753663598081]
  LUNAは,画像,キーポイント,スケッチ,未知文字などの複数の2次元制御を3次元ガウス変形にマッピングする,普遍的なニューラルアニメーションモデルである。 実験により、LUNAはLBSベースのアプローチと比較して、光現実的な競合的な視覚的忠実性を達成することが示された。 我々の知る限りでは、LUNAは暗黙の2D駆動をサポートする最初のエンドツーエンドの3Dアニマタブルモデルである。
  論文  参考訳（メタデータ） (2026-06-30T17:19:55Z)
• Learning to Control Physically-simulated 3D Characters via Generating and Mimicking 2D Motions [23.080971732537886]
  Mimic2DMはビデオから抽出した2Dキーポイント軌跡から直接制御ポリシーを学習する新しい動作模倣フレームワークである。 提案手法は多目的であり,様々な領域にわたる物理的に可塑性かつ多様な動作を効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2025-12-09T11:30:56Z)
• MoMaps: Semantics-Aware Scene Motion Generation with Motion Maps [31.864441290577545]
  本稿では,実世界の映像から意味的かつ機能的に意味のある3D動画を学習する上での課題について論じる。 既存の生成画像モデルから生成可能な3次元シーン動作のための画素対応モーションマップ表現を提案する。
  論文  参考訳（メタデータ） (2025-10-13T07:56:19Z)
• Mocap-2-to-3: Multi-view Lifting for Monocular Motion Recovery with 2D Pretraining [49.223455189395025]
  Mocap-2-to-3は単分子入力からマルチビューリフトを実行する新しいフレームワークである。 豊富な2次元データを活用するため、複雑な3次元運動を多視点合成に分解する。 本手法は,カメラ空間のモーションリアリズムと世界空間の人間の位置決めの両面において,最先端のアプローチを超越した手法である。
  論文  参考訳（メタデータ） (2025-03-05T06:32:49Z)
• Motion-2-to-3: Leveraging 2D Motion Data to Boost 3D Motion Generation [43.915871360698546]
  人間の2Dビデオは、幅広いスタイルやアクティビティをカバーし、広範にアクセス可能なモーションデータのソースを提供する。 本研究では,局所的な関節運動をグローバルな動きから切り離し,局所的な動きを2次元データから効率的に学習する枠組みを提案する。 提案手法は,2次元データを効率的に利用し,リアルな3次元動作生成をサポートし,支援対象の動作範囲を拡大する。
  論文  参考訳（メタデータ） (2024-12-17T17:34:52Z)
• Holistic-Motion2D: Scalable Whole-body Human Motion Generation in 2D Space [78.95579123031733]
  2次元体全体の動き生成のための総合的かつ大規模ベンチマークであるtextbfHolistic-Motion2D$を提示する。 また、下流アプリケーションにおける2Dモーションの有用性と3Dモーションへのリフトの可能性を強調した。
  論文  参考訳（メタデータ） (2024-06-17T06:31:19Z)
• Learning Human Motion from Monocular Videos via Cross-Modal Manifold Alignment [45.74813582690906]
  2次元入力から人間の3D動作を学ぶことは、コンピュータビジョンとコンピュータグラフィックスの領域における基本的な課題である。 本稿では、モーダルなラテント特徴空間アライメントにより、動きの先行値を活用するビデオ・トゥ・モーション・ジェネレータ(VTM)を提案する。 VTMでは、モノクロビデオから3Dの人間の動きを再構築する、最先端のパフォーマンスが紹介されている。
  論文  参考訳（メタデータ） (2024-04-15T06:38:09Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)
• Cinematic Behavior Transfer via NeRF-based Differentiable Filming [63.1622492808519]
  既存のSLAM手法は動的シーンの制限に直面し、人間のポーズ推定はしばしば2次元投影に焦点を当てる。 まず,逆撮影行動推定手法を提案する。 次に,新しい2Dビデオや3D仮想環境に様々な撮影タイプを転送できる映像転送パイプラインを導入する。
  論文  参考訳（メタデータ） (2023-11-29T15:56:58Z)
• Delving into Motion-Aware Matching for Monocular 3D Object Tracking [81.68608983602581]
  異なる時間軸に沿った物体の運動キューが3次元多物体追跡において重要であることが判明した。 3つの動き認識コンポーネントからなるフレームワークであるMoMA-M3Tを提案する。 我々はnuScenesとKITTIデータセットに関する広範な実験を行い、MoMA-M3Tが最先端の手法と競合する性能を発揮することを実証した。
  論文  参考訳（メタデータ） (2023-08-22T17:53:58Z)
• NeMo: 3D Neural Motion Fields from Multiple Video Instances of the Same Action [24.67958500694608]
  ニューラルモーション(NeMo)フィールドを導入し、同じアクションの一連のビデオに対して基礎となる3Dモーションを表現する。 NeMoはPenn Actionデータセットの動画を使って、スポーツの3Dモーションを復元することができる。
  論文  参考訳（メタデータ） (2022-12-28T01:40:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。