論文の概要: MotionEnhancer: Leveraging Video Diffusion for Motion-Enhanced Vision-Language Models

• arxiv url: http://arxiv.org/abs/2606.06853v1
• Date: Fri, 05 Jun 2026 02:56:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.533288
• Title: MotionEnhancer: Leveraging Video Diffusion for Motion-Enhanced Vision-Language Models
• Title（参考訳）: MotionEnhancer:モーション強化ビジョンランゲージモデルのためのビデオ拡散の活用
• Authors: Yifan Xu, Chao Zhang, Ruifei Ma, Fei Gao, Zhifei Yang, Jiaxing Qi, Zhipeng Chen,
• Abstract要約: ビデオ拡散モデル(VDM)は、大規模ビデオデータと時間生成の本質的な要件の恩恵を受けながら、動的動きパターンのモデル化に長けている。 我々は、強力なビデオ拡散モデルから抽出した動き先を補助監督として活用する、新しいアプローチであるMotionEnhancerを紹介する。 MotionEnhancerは、追加のトレーニングパラメータ、既存のアーキテクチャの変更、ツール呼び出しなしで、モーション理解のためのスケーラブルなソリューションを提供する。
• 参考スコア（独自算出の注目度）: 15.70938489724422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The new era has witnessed a remarkable capability to extend Vision-Language Models (VLMs) for tackling tasks of video understanding. While current VLMs excel at event- or story-level understanding, their ability to capture fine-grained motion details remains limited, primarily due to their focus on high-level static semantic structures and macro-event logic. In contrast, Video Diffusion Models (VDMs) are adept at modeling dynamic motion patterns, benefiting from large-scale video data and the intrinsic requirement of temporal generation. In this paper, we introduce MotionEnhancer, a novel approach that leverages motion priors distilled from a powerful video diffusion model as auxiliary supervision to enhance the motion understanding capability of a VLM via attention alignment. MotionEnhancer comprises two simple parameter-free modules, Motion-sensitive Head Selection (MHS) and Motion-salient Text Token Identification (MTTI), to directly extract and optimize motion-related attentions from the VDM in a computation-only manner. MotionEnhancer provides a scalable solution for motion understanding without additional training parameters, modifications to existing architectures, or tool calling. Extensive experiments demonstrate that MotionEnhancer can achieve consistent improvements over state-of-the-art VLMs on two motion-level video understanding benchmarks, especially on motion-related metrics.
• Abstract（参考訳）: 新しい時代は、ビデオ理解のタスクに対処するために視覚言語モデル(VLM)を拡張する驚くべき能力を見出した。 現在のVLMはイベントレベルの理解やストーリーレベルの理解が優れているが、細かな動きの詳細を捉える能力は依然として限られている。 対照的に、ビデオ拡散モデル(VDM)は、大規模ビデオデータと時間生成の本質的な要件の恩恵を受けながら、動的動きパターンのモデル化に長けている。 本稿では,映像拡散モデルから抽出した動き先を補助監督として活用し,注目アライメントによるVLMの動作理解能力を向上する新しい手法であるMotionEnhancerを紹介する。 MotionEnhancerは2つの単純なパラメータフリーモジュール、MHS(Motion-sensitive Head Selection)とMTTI(Motion-Salient Text Token Identification)で構成されており、VDMから直接動きに関連した注意を計算のみの方法で抽出し、最適化する。 MotionEnhancerは、追加のトレーニングパラメータや既存のアーキテクチャの変更、ツール呼び出しなしに、モーション理解のためのスケーラブルなソリューションを提供する。 大規模な実験により、MotionEnhancerは2つのモーションレベルのビデオ理解ベンチマーク、特にモーション関連のメトリクスにおいて、最先端のVLMに対して一貫した改善を達成できることが示された。

関連論文リスト

• MotionAdapter: Video Motion Transfer via Content-Aware Attention Customization [73.07309070257162]
  MotionAdapterは、ロバストでセマンティックに整合したモーション転送を可能にする、コンテンツ対応のモーション転送フレームワークである。 我々の重要な洞察は、効果的な動き伝達は外見から運動を明示的に切り離す必要があることである。 MotionAdapterは自然に複雑なモーション転送とズームのようなモーション編集タスクをサポートする。
  論文  参考訳（メタデータ） (2026-01-05T10:01:27Z)
• Vision-Motion-Reference Alignment for Referring Multi-Object Tracking via Multi-Modal Large Language Models [29.330083952817997]
  我々はVMRMOTという新しいビジョン・モーション・リファレンス・アライメントのRMOTフレームワークを提案する。 物体力学から抽出された運動モーダリティを統合し、視覚モーダリティと言語参照のアライメントを強化する。 我々の知る限りでは、VMRMOT は RMOT タスクに MLLM を採用する最初のアプローチである。
  論文  参考訳（メタデータ） (2025-11-21T08:53:31Z)
• EfficientMT: Efficient Temporal Adaptation for Motion Transfer in Text-to-Video Diffusion Models [73.96414072072048]
  既存の動き伝達法は、ガイド生成のための参照ビデオの動作表現を探索した。 本稿では,ビデオモーション転送のための新しい,効率的なエンドツーエンドフレームワークであるEfficientMTを提案する。 我々の実験は, フレキシブルな動作制御性を維持しつつ, 既存の手法よりも効率が良いことを示した。
  論文  参考訳（メタデータ） (2025-03-25T05:51:14Z)
• MotionBench: Benchmarking and Improving Fine-grained Video Motion Understanding for Vision Language Models [30.139277087078764]
  MotionBenchは、ビデオ理解モデルの詳細な動作理解を評価するために設計された評価ベンチマークである。 さまざまなソースから収集されたデータが含まれており、現実世界のビデオコンテンツの広範な表現が保証されている。 我々のベンチマークは、より有能な映像理解モデルの開発をガイドし、動機づけることを目的としている。
  論文  参考訳（メタデータ） (2025-01-06T11:57:38Z)
• MoTrans: Customized Motion Transfer with Text-driven Video Diffusion Models [59.10171699717122]
  MoTransは、新しいコンテキストにおける類似した動きのビデオ生成を可能にする、カスタマイズされたモーション転送方式である。 再カプセル化されたプロンプトとビデオフレームからのマルチモーダル表現は、外観のモデリングを促進する。 本手法は, 特定の動きパターンを, 単一の参照ビデオや複数参照ビデオから効果的に学習する。
  論文  参考訳（メタデータ） (2024-12-02T10:07:59Z)
• MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding [76.30210465222218]
  MotionGPT-2は、MLMLM(Large Motion-Language Model)である。 LLM(Large Language Models)によるマルチモーダル制御をサポートしている。 難易度の高い3次元全体運動生成タスクに高い適応性を持つ。
  論文  参考訳（メタデータ） (2024-10-29T05:25:34Z)
• Video Diffusion Models are Training-free Motion Interpreter and Controller [20.361790608772157]
  本稿では,映像拡散モデルにおける動き認識機能を理解し,ローカライズし,操作するための新しい視点を提案する。 コンテンツ相関情報とフィルタリング動作チャネルを除去し,MOFT(Motion FeaTure)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T17:59:40Z)
• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。