論文の概要: ProMo3D: Probing Motion Cues in Frozen 3D Foundation Models
- arxiv url: http://arxiv.org/abs/2610.33802v1
- Date: Sat, 24 Oct 2026 17:07:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.449187
- Title: ProMo3D: Probing Motion Cues in Frozen 3D Foundation Models
- Title（参考訳）: ProMo3D:凍結した3Dファンデーションモデルで動くクイズを探索
- Abstract要約: 凍結した3Dファンデーションモデルからのモーションデコーディングは軽量でデータ効率が良い。
確率に基づく運動蒸留(Motion Distillation)は、固定されたアンカートークンとペアの運動状態の互換性スコアを、密度の高いモーションマスクに変換する。
- 参考スコア（独自算出の注目度）: 15.718134846855804
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Feed-forward 3D foundation models have recently reshaped multi-view reconstruction, yet dynamic 4D understanding still often relies on large-scale motion supervision or hand-crafted, architecture-specific heuristics. We ask whether frozen 3D foundation model tokens already encode motion-relevant information that can be exposed by lightweight readout functions, rather than re-learning motion-specific features with high-capacity decoders. Through probing on three representative backbones, we find that static--dynamic separation is decodable from frozen token representations. Our rank-restricted and spectral analyses on $π^3$X reveal that the recovered motion cues are concentrated in a low-dimensional subspace. Building on this, we propose Probing-based Motion Distillation (PMD), which converts pairwise motion-state compatibility scores against a fixed anchor token into dense motion masks. Trained on only 160 YouTube-VOS videos using a single 16 GB GPU, PMD transfers zero-shot to DAVIS, SegTrackv2, and FBMS-59 without target-benchmark fine-tuning. With multi-view pretrained geometric backbones, PMD outperforms training-free heuristics and approaches substantially heavier supervised and self-supervised methods, suggesting that motion decoding from frozen 3D foundation models can be lightweight and data-efficient.
- Abstract（参考訳）: フィードフォワード3Dファウンデーションモデルは、最近、マルチビューの再構築を形作ったが、動的4D理解は、大規模なモーション監視や手作りのアーキテクチャ固有のヒューリスティックに依存していることが多い。
高速デコーダを用いた動作特化機能の再学習よりも,より軽量な読み出し機能によって露呈される動作関連情報を,凍結した3Dファンデーションモデルトークンがすでに符号化されているかどうかを問う。
3つの代表的バックボーンを探索することで、静的-動的分離が凍結トークン表現から退避可能であることが分かる。
π^3$Xの階数制限とスペクトル分析により、復元された運動キューが低次元部分空間に集中していることが分かる。
そこで本研究では,Pbing-based Motion Distillation (PMD)を提案する。
16GBのGPUでたった160本のYouTube-VOSビデオでトレーニングされたPMDは、ゼロショットをターゲットベンチマークの微調整なしでDAVIS、SegTrackv2、FBMS-59に転送する。
多視点で事前訓練された幾何学的バックボーンにより、PMDはトレーニング不要なヒューリスティックスより優れ、より重い教師付きと自己監督の手法により、凍結した3D基礎モデルからの運動復号は軽量でデータ効率が良いことを示唆している。
関連論文リスト
- DreamHand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery [51.92897182932217]
Egocentric Videoは、組み込みAIのためのスケーラブルな操作データを提供する。
しかし、重度物体の閉塞と頻繁な視界外ギャップのため、3次元手指軌跡の復元は困難である。
オフラインのクリップレベルフレームワークであるDreamHandを導入し、決定論的クリーンレイテンシを使って機能を抽出し、双方向時空間デコーダでデコードする。
論文 参考訳（メタデータ） (2026-08-20T17:46:24Z) - MotionVLA: Vision-Language-Action Model for Humanoid Motion [54.785960777274276]
動作をベースストリームと物理ストリームに分離するデュアルストリーム周波数トークンであるDSFTを提案する。
また、ベースおよび物理トークンを統一シーケンスに配置するQwen3.5ベースのモデルであるMotionVLAを提案する。
論文 参考訳（メタデータ） (2026-06-13T06:10:48Z) - Feeling the Space: Egomotion-Aware Video Representation for Efficient and Accurate 3D Scene Understanding [9.774606705982874]
本稿では,感情モダリティデータを用いたMLLM(Large Language Models)を大幅に強化する。
運動MLLMは、身体的運動軌跡の視覚的内容のグラウンド化によって、シーン全体にわたる絶対的なスケールと空間的関係を推論することができる。
ビデオフレームと明示的な3Dデータに基づく最新技術(SOTA)手法と比較して、Motion-MLLMはオーバーヘッドをはるかに少なく、類似またはそれ以上の精度を示す。
論文 参考訳（メタデータ） (2026-03-18T17:42:49Z) - 3D-Aware Implicit Motion Control for View-Adaptive Human Video Generation [29.389246008057473]
2Dは、新規な視点合成を前に、運動を駆動的視点に厳密に結合する。
3DiMoは、予め訓練されたビデオジェネレータでモーションエンコーダを訓練し、駆動フレームをコンパクトでビューに依存しないモーショントークンに蒸留する。
3DiMoは、フレキシブルでテキスト駆動のカメラコントロールで運転動作を忠実に再現する。
論文 参考訳（メタデータ） (2026-02-03T17:59:09Z) - Animus3D: Text-driven 3D Animation via Motion Score Distillation [23.865982945398546]
Animus3Dはテキスト駆動の3Dアニメーションフレームワークで、静的な3Dアセットとテキストプロンプトが与えられたモーションフィールドを生成する。
Animus3Dは様々なテキストプロンプトから静的な3Dアセットをアンペアリングし、より実質的で詳細な動きを生み出す。
論文 参考訳（メタデータ） (2025-12-14T03:22:34Z) - DIMO: Diverse 3D Motion Generation for Arbitrary Objects [57.14954351767432]
DIMOは、単一の画像から任意のオブジェクトに対して多様な3Dモーションを生成することができる生成的アプローチである。
我々は、よく訓練されたビデオモデルにおけるリッチな事前情報を利用して、共通の動きパターンを抽出する。
学習した潜時空間での推論時間の間、単方向パスで様々な3次元運動を瞬時にサンプリングすることができる。
論文 参考訳（メタデータ） (2025-11-10T18:56:49Z) - SMF: Template-free and Rig-free Animation Transfer using Kinetic Codes [32.324844649352166]
アニメーション再ターゲッティングはキャラクタメッシュにスパース動作記述を適用し、意味論的に妥当で時間的に整合したフルボディシーケンスを生成する。
本稿では,スパース動作表現のみを訓練した自己教師型運動場(SMF)を提案する。
我々のアーキテクチャは、エンドツーエンドで共同で訓練された専用空間勾配予測器と時間勾配予測器から構成される。
論文 参考訳（メタデータ） (2025-04-07T08:42:52Z) - DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-03-09T12:22:46Z) - MotionBERT: A Unified Perspective on Learning Human Motion
Representations [46.67364057245364]
本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。
本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。
動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
論文 参考訳（メタデータ） (2022-10-12T19:46:25Z) - Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for
Temporal Sentence Grounding [61.57847727651068]
テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。
これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。
我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
論文 参考訳（メタデータ） (2022-03-06T13:57:09Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。