論文の概要: Motion-as-Prompt: Enhancing Motion Reasoning in Multimodal Large Language Models via Motion-Guided Cross-Frame Visual Prompting

• arxiv url: http://arxiv.org/abs/2608.11655v1
• Date: Wed, 12 Aug 2026 04:54:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.453591
• Title: Motion-as-Prompt: Enhancing Motion Reasoning in Multimodal Large Language Models via Motion-Guided Cross-Frame Visual Prompting
• Title（参考訳）: Motion-as-Prompt:Motion-Guided Cross-Frame Visual Promptingによる多モード大言語モデルにおける動き推論の強化
• Abstract要約: Motion-as-Prompt (MaP) は、トラック誘導型クロスフレームビジュアルプロンプトフレームワークである。 MaPは、平均的な動き推論精度を一貫して改善する。
• 参考スコア（独自算出の注目度）: 13.429629624908392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motion-centric video reasoning is fundamental to interactive applications such as robotic manipulation and autonomous navigation. However, multimodal large language models (MLLMs) typically process videos through sparse uniform sampling to control visual-token and attention costs. This strategy may discard critical transitions between sampled frames, limiting reasoning about object movement, collisions, and causal interactions. To mitigate this issue, we propose Motion-as-Prompt (MaP), a track-guided cross-frame visual prompting framework. MaP recovers dense point trajectories, selects motion-informative frames, and marks the trajectories accumulated between consecutive sampled frames directly onto the visual inputs, making otherwise hidden displacement, direction changes, and interactions observable to frozen MLLMs. Experiments on CLEVRER and Something-Something-v2 show that MaP consistently improves average motion-reasoning accuracy, yielding gains of 4.2% and 8.9% for GPT-5.5, respectively. Notably, these improvements are obtained without degrading non-motion understanding, highlighting the robustness of MaP. These results demonstrate that MaP provides a simple and effective solution for enhancing motion-centric video reasoning without model training or architectural modification. Project page:https://github.com/SunVictor23/MaP.
• Abstract（参考訳）: モーション中心のビデオ推論は、ロボット操作や自律ナビゲーションといったインタラクティブなアプリケーションに不可欠である。 しかし、マルチモーダルな大言語モデル(MLLM)は、通常、視覚的トーケンと注意コストを制御するために、疎一様サンプリングを通じてビデオを処理している。 この戦略は、サンプルフレーム間の臨界遷移を破棄し、物体の動き、衝突、因果相互作用に関する推論を制限する。 この問題を軽減するために,トラック誘導型クロスフレームビジュアルプロンプトフレームワークであるMotion-as-Prompt(MaP)を提案する。 MaPは、密度の高い点軌跡を復元し、動き不変フレームを選択し、連続したサンプルフレーム間で蓄積された軌跡を視覚入力に直接マークし、他の場合は隠れた変位、方向変化、凍結MLLMに観測可能な相互作用を生成する。 CLEVRER と Some-Something-v2 の実験では、MaP は平均的な動き推論精度を一貫して改善し、それぞれ GPT-5.5 で 4.2% と 8.9% の利得を得た。 特に、これらの改善は非運動理解を低下させることなく得られ、MaPの堅牢性を強調している。 これらの結果から,MaPはモデルトレーニングやアーキテクチャ修正を伴わずに,動き中心の動画推論をシンプルかつ効果的に向上できることがわかった。 プロジェクトページ:https://github.com/SunVictor23/MaP。

関連論文リスト

• IM-Animation: An Implicit Motion Representation for Identity-decoupled Character Animation [58.297199313494]
  インプシット法は、動画から直接動作の意味をキャプチャするが、動作と外観の絡み合いやアイデンティティの漏洩に悩まされる。 本稿では,フレームごとの動作をコンパクトな1次元モーショントークンに圧縮する新しい暗黙の動作表現を提案する。 本手法では,3段階のトレーニング戦略を用いて,トレーニング効率を高め,高い忠実性を確保する。
  論文  参考訳（メタデータ） (2026-02-07T11:17:20Z)
• M2DAO-Talker: Harmonizing Multi-granular Motion Decoupling and Alternating Optimization for Talking-head Generation [65.48046909056468]
  我々は,音声音声生成をビデオ前処理,モーション表現,レンダリング再構成を含む統一的なフレームワークに再構成する。 M2DAO-Talkerは2.43dBのPSNRの改善とユーザ評価ビデオの画質0.64アップで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-07-11T04:48:12Z)
• ATI: Any Trajectory Instruction for Controllable Video Generation [25.249489701215467]
  本稿では、カメラの動き、オブジェクトレベルの翻訳、きめ細かい局所的な動きをシームレスに統合する、動画生成におけるモーション制御のための統一的なフレームワークを提案する。 提案手法は,事前学習した画像-映像生成モデルの潜在空間にユーザ定義トラジェクトリを投影することにより,凝集性のある解を提供する。
  論文  参考訳（メタデータ） (2025-05-28T23:49:18Z)
• In-2-4D: Inbetweening from Two Single-View Images to 4D Generation [63.68181731564576]
  Inbetween-2-4Dという,2枚のシングルビュー画像を補間する4次元(つまり3D + モーション)の生成問題を提案する。 テキストや1つの画像のみからの映像/4D生成とは対照的に、補間タスクはより正確なモーション制御を利用して生成をよりよく制約することができる。
  論文  参考訳（メタデータ） (2025-04-11T09:01:09Z)
• Segment Any Motion in Videos [80.72424676419755]
  本研究では,長距離軌道運動キューとDINOに基づく意味的特徴を組み合わせた移動物体セグメンテーションを提案する。 本モデルでは,動作を優先し,セマンティックサポートを統合しつつ,時空間軌道注意と動き・セマンティック・デカップリング・エンベディングを用いた。
  論文  参考訳（メタデータ） (2025-03-28T09:34:11Z)
• MotionDiff: Training-free Zero-shot Interactive Motion Editing via Flow-assisted Multi-view Diffusion [20.142107033583027]
  MotionDiffは、複雑な多視点モーション編集に光フローを利用する、トレーニング不要なゼロショット拡散法である。 これは、高品質な多視点一貫した運動結果を達成するために、他の物理学ベースの生成運動編集法よりも優れている。 MotionDiffは再トレーニングを必要としないので、ユーザは様々なダウンストリームタスクに便利に適応できる。
  論文  参考訳（メタデータ） (2025-03-22T08:32:56Z)
• MM-Tracker: Motion Mamba with Margin Loss for UAV-platform Multiple Object Tracking [12.326023523101806]
  無人航空機プラットフォームからの複数の物体追跡(MOT)には、効率的なモーションモデリングが必要である。 本研究では,ローカル・グローバル両方の動作特徴を探索するMotion Mamba Moduleを提案する。 また,動きのぼやけた物体の検出精度を効果的に向上するために,運動マージンの損失を設計する。 Motion Mambaモジュールとモーションマージンの損失に基づいて、提案したMM-Trackerは、2つの広くオープンソースUAV-MOTデータセットで最先端のデータを上回ります。
  論文  参考訳（メタデータ） (2024-07-15T07:13:27Z)
• Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring [71.60457491155451]
  様々な動きによって生じる画像のぼかしを除去することは、難しい問題である。 本研究では,動き適応型分離型協調フィルタと呼ばれる実世界のデブロアリングフィルタモデルを提案する。 本手法は,実世界の動きのぼかし除去に有効な解法を提供し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-04-19T19:44:24Z)
• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。