論文の概要: Track and Caption Any Motion: Query-Free Motion Discovery and Description in Videos

• arxiv url: http://arxiv.org/abs/2512.10607v1
• Date: Thu, 11 Dec 2025 13:03:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-12 16:15:42.364982
• Title: Track and Caption Any Motion: Query-Free Motion Discovery and Description in Videos
• Title（参考訳）: 動きの追跡とキャプション:ビデオで検索不要な動きの発見と説明
• Authors: Bishoy Galoaa, Sarah Ostadabbas,
• Abstract要約: Track and Caption Any Motionは、ビデオの自動理解のためのモーション中心のフレームワークである。 映像を自律的に観察し、複数の動きを識別し、それぞれの自然言語記述を対応する軌跡に空間的に根拠付ける。 MeViSベンチマークでは、TAMは58.4%の動画テキスト検索、64.9 JFを空間的グラウンドで達成し、84.7%の精度でビデオ毎の4.8の関連表現を発見する。
• 参考スコア（独自算出の注目度）: 6.412245476044759
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose Track and Caption Any Motion (TCAM), a motion-centric framework for automatic video understanding that discovers and describes motion patterns without user queries. Understanding videos in challenging conditions like occlusion, camouflage, or rapid movement often depends more on motion dynamics than static appearance. TCAM autonomously observes a video, identifies multiple motion activities, and spatially grounds each natural language description to its corresponding trajectory through a motion-field attention mechanism. Our key insight is that motion patterns, when aligned with contrastive vision-language representations, provide powerful semantic signals for recognizing and describing actions. Through unified training that combines global video-text alignment with fine-grained spatial correspondence, TCAM enables query-free discovery of multiple motion expressions via multi-head cross-attention. On the MeViS benchmark, TCAM achieves 58.4% video-to-text retrieval, 64.9 JF for spatial grounding, and discovers 4.8 relevant expressions per video with 84.7% precision, demonstrating strong cross-task generalization.
• Abstract（参考訳）: 本稿では,ユーザクエリを使わずに動きパターンを発見し,記述する,動画自動理解のための動き中心のフレームワークTCAMを提案する。 ビデオのオクルージョンやカモフラージュ、急激な動きといった困難な条件下での理解は、静的な外観よりも運動力学に依存していることが多い。 TCAMは、動画を自律的に観察し、複数の動きを識別し、動き場注意機構を通じて、それぞれの自然言語記述を対応する軌道に空間的に接地する。 我々の重要な洞察は、動きパターンは、対照的な視覚言語表現と整合するときに、行動を認識して記述するための強力な意味信号を提供するということである。 グローバルなビデオテキストアライメントときめ細かな空間対応を組み合わせた統合トレーニングにより、TAMはマルチヘッド・クロスアテンションによる複数動作表現のクエリフリー発見を可能にする。 MeViSベンチマークでは、TAMは58.4%の動画テキスト検索、空間接地のための64.9 JFを実現し、84.7%の精度でビデオ毎の4.8の関連式を発見し、クロスタスクの一般化を示す。

関連論文リスト

• Interpretable Motion-Attentive Maps: Spatio-Temporally Localizing Concepts in Video Diffusion Transformers [12.481704446483176]
  動画拡散変換器(DiT)は、動きを含むテキスト記述から高い忠実度で高品質な映像を合成している。 本稿では,ある運動概念に対して,対象物がいつ,いつ動くかを規定する具体的な運動特徴について検討する。 動作を空間的かつ時間的に局所化する解釈可能な動き検出マップ(IMAP)を得るための動き特徴選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-03T12:20:42Z)
• IM-Animation: An Implicit Motion Representation for Identity-decoupled Character Animation [58.297199313494]
  インプシット法は、動画から直接動作の意味をキャプチャするが、動作と外観の絡み合いやアイデンティティの漏洩に悩まされる。 本稿では,フレームごとの動作をコンパクトな1次元モーショントークンに圧縮する新しい暗黙の動作表現を提案する。 本手法では,3段階のトレーニング戦略を用いて,トレーニング効率を高め,高い忠実性を確保する。
  論文  参考訳（メタデータ） (2026-02-07T11:17:20Z)
• MotionAdapter: Video Motion Transfer via Content-Aware Attention Customization [73.07309070257162]
  MotionAdapterは、ロバストでセマンティックに整合したモーション転送を可能にする、コンテンツ対応のモーション転送フレームワークである。 我々の重要な洞察は、効果的な動き伝達は外見から運動を明示的に切り離す必要があることである。 MotionAdapterは自然に複雑なモーション転送とズームのようなモーション編集タスクをサポートする。
  論文  参考訳（メタデータ） (2026-01-05T10:01:27Z)
• Segment Any Motion in Videos [80.72424676419755]
  本研究では,長距離軌道運動キューとDINOに基づく意味的特徴を組み合わせた移動物体セグメンテーションを提案する。 本モデルでは,動作を優先し,セマンティックサポートを統合しつつ,時空間軌道注意と動き・セマンティック・デカップリング・エンベディングを用いた。
  論文  参考訳（メタデータ） (2025-03-28T09:34:11Z)
• Motion Prompting: Controlling Video Generation with Motion Trajectories [57.049252242807874]
  スパースもしくは高密度なビデオ軌跡を条件とした映像生成モデルを訓練する。 ハイレベルなユーザリクエストを,詳細なセミセンスな動作プロンプトに変換する。 我々は、カメラや物体の動き制御、画像との「相互作用」、動画転送、画像編集など、様々な応用を通してアプローチを実証する。
  論文  参考訳（メタデータ） (2024-12-03T18:59:56Z)
• MotionClone: Training-Free Motion Cloning for Controllable Video Generation [41.621147782128396]
  MotionCloneは、参照ビデオから多目的なモーションコントロールビデオ生成までのモーションクローンを可能にする、トレーニング不要のフレームワークである。 MotionCloneは、大域的なカメラの動きと局所的な物体の動きの両方の習熟度を示し、動きの忠実さ、テキストアライメント、時間的一貫性の点で顕著に優れている。
  論文  参考訳（メタデータ） (2024-06-08T03:44:25Z)
• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)
• MotionZero:Exploiting Motion Priors for Zero-shot Text-to-Video Generation [131.1446077627191]
  ゼロショットのテキスト・トゥ・ビデオ合成は、ビデオなしでプロンプトに基づいてビデオを生成する。 本研究では,MotionZeroと命名されたプロンプト適応型・アンタングル型モーションコントロール戦略を提案する。 我々の戦略は、異なるオブジェクトの動きを正しく制御し、ゼロショットビデオ編集を含む多目的アプリケーションをサポートする。
  論文  参考訳（メタデータ） (2023-11-28T09:38:45Z)
• SportsCap: Monocular 3D Human Motion Capture and Fine-grained Understanding in Challenging Sports Videos [40.19723456533343]
  SportsCap - 3Dの人間の動きを同時に捉え、モノラルな挑戦的なスポーツビデオ入力からきめ細かなアクションを理解するための最初のアプローチを提案する。 本手法は,組込み空間に先立って意味的かつ時間的構造を持つサブモーションを,モーションキャプチャと理解に活用する。 このようなハイブリッドな動き情報に基づいて,マルチストリーム空間時空間グラフ畳み込みネットワーク(ST-GCN)を導入し,詳細なセマンティックアクション特性を予測する。
  論文  参考訳（メタデータ） (2021-04-23T07:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。