論文の概要: Unlocking Motion in Expressions: Temporal Calibration for Referring Video Object Segmentation
- arxiv url: http://arxiv.org/abs/2608.16332v1
- Date: Mon, 17 Aug 2026 09:36:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.621981
- Title: Unlocking Motion in Expressions: Temporal Calibration for Referring Video Object Segmentation
- Title（参考訳）: 表現におけるアンロック動作:ビデオオブジェクトセグメンテーションの時間的校正
- Abstract要約: Referring Video Object (RVOS) は、自然言語による記述に基づいて、参照対象をビデオシーケンスのピクセルレベルでセグメント化することを目的としている。
既存の手法は通常、統合されたモーダル時間的モデリングフレームワーク内で動作情報を導入する。
本稿では,式内の動作セマンティクスを明示的にアンロックし,活用するRVOS用Expression-driven Motionフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 9.713850068700566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Referring Video Object Segmentation (RVOS) aims to segment referred objects at the pixel level in video sequences based on natural language descriptions. Existing methods typically introduce motion information within a unified cross-modal temporal modeling framework, where language cues are used for target localization and segmentation. However, the dependency of expressions on motion semantics is not explicitly modeled, making it difficult to adaptively adjust the use of motion information according to different semantic requirements. To address these issues, we propose an Expression-driven Motion Calibration (EMC) framework for RVOS that explicitly unlocks and leverages the motion semantics within expressions. The proposed method extracts interpretable motion control signals from expressions via a Motion Signal Processing (MSP) module, and employs a Motion Influence Calibration (MIC) module to adjust the contribution of motion cues during temporal decision making. In addition, a Semantic Temporal Stage Construction (STSC) module is introduced to build expression-relevant temporal stages, providing a compact temporal candidate space for motion calibration. Through extensive evaluation on six standard benchmarks, including Ref-YouTubeVOS, Ref-DAVIS17, MeViS (valid/valid$^u$), A2D-Sentences, and JHMDB-Sentences, the superiority of our method is validated. We will release the code on https://github.com/Jeven7/EMC.
- Abstract（参考訳）: Referring Video Object Segmentation (RVOS) は、自然言語記述に基づくビデオシーケンスにおいて、参照対象をピクセルレベルでセグメントすることを目的としている。
既存の手法では、言語キューがターゲットのローカライゼーションとセグメンテーションに使用されるような、統合されたモーダル時間的モデリングフレームワーク内での動作情報を導入するのが一般的である。
しかし、動作意味論への表現の依存は明示的にモデル化されておらず、異なる意味的要求に応じて動き情報の使用を適応的に調整することは困難である。
これらの問題に対処するために,式内の動作セマンティクスを明示的にアンロックし活用する RVOS 用の Expression-driven Motion Calibration (EMC) フレームワークを提案する。
提案手法は,動作信号処理(MSP)モジュールを介して表現から解釈可能な動作制御信号を抽出し,時間的意思決定における動作キューの寄与を調整するために,動作影響校正(MIC)モジュールを用いる。
さらに、セマンティック・テンポラル・ステージ・コンストラクション(STSC)モジュールを導入し、表現関連テンポラル・ステージを構築し、モーション・キャリブレーションのためのコンパクトな時間的候補空間を提供する。
Ref-YouTubeVOS, Ref-DAVIS17, MeViS (valid/valid$^u$), A2D-Sentences, JHMDB-Sentences の6つの標準ベンチマークの広範な評価により, 本手法の優位性を検証した。
コードをhttps://github.com/Jeven7/EMCで公開します。
関連論文リスト
- MotionGrounder: Grounded Multi-Object Motion Transfer via Diffusion Transformer [34.080740212072655]
モーション転送は、基準映像から時間的ダイナミクスを転送して、ターゲットキャプションに設定された新しい映像を合成することにより、制御可能な映像生成を可能にする。
動作伝達を多目的制御性で処理するDiTベースのフレームワークであるMotionGrounderを紹介する。
実験の結果,MotionGrounderは定量的,質的,人的評価において,最近のベースラインを一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2026-04-01T13:06:03Z) - Training-Free Spatio-temporal Decoupled Reasoning Video Segmentation with Adaptive Object Memory [10.183518059286124]
Reasoning Video Object (VOS) は、ビデオシーケンス間で安定したオブジェクトセグメンテーションを必要とする難しいタスクである。
従来のマルチモーダル大規模言語モデル(MLLM)を微調整してセグメンテーション出力を生成する手法は、かなりのリソースを必要とする。
トレーニングフリーのtextbfStemporal textbfDecoupled Reasoning Video with textbfAdaptive Object bfMemory (SDAM) を提案する。
提案手法は,Ref-YouTubeVOS,RefDAVIS17,MeViViS,ReasonVOS,Ref-YouTubeVOS,RefDAVIS17,ReasonVOSの5つのベンチマークデータセットに対して優れた結果を得る。
論文 参考訳（メタデータ） (2026-03-02T07:15:41Z) - MotionAdapter: Video Motion Transfer via Content-Aware Attention Customization [73.07309070257162]
MotionAdapterは、ロバストでセマンティックに整合したモーション転送を可能にする、コンテンツ対応のモーション転送フレームワークである。
我々の重要な洞察は、効果的な動き伝達は外見から運動を明示的に切り離す必要があることである。
MotionAdapterは自然に複雑なモーション転送とズームのようなモーション編集タスクをサポートする。
論文 参考訳（メタデータ） (2026-01-05T10:01:27Z) - MotionShot: Adaptive Motion Transfer across Arbitrary Objects for Text-to-Video Generation [23.051430600796277]
MotionShotは、参照ターゲット対応をきめ細かい方法で解析するためのフレームワークである。
顕著な外観や構造の違いがあっても、物体を横切る動きをコヒーレントに転送することができる。
論文 参考訳（メタデータ） (2025-07-22T07:51:05Z) - SynMotion: Semantic-Visual Adaptation for Motion Customized Video Generation [56.90807453045657]
SynMotion(シンモクション)は、セマンティックガイダンスと視覚適応を併用した動画生成モデルである。
意味レベルでは、主観と動きの表現をアンタングルする二項意味理解機構を導入する。
視覚レベルでは、効率的なモーションアダプタをトレーニング済みのビデオ生成モデルに統合し、動きの忠実度と時間的コヒーレンスを高める。
論文 参考訳（メタデータ） (2025-06-30T10:09:32Z) - Motion-Aware Concept Alignment for Consistent Video Editing [57.08108545219043]
MoCA-Video (Motion-Aware Concept Alignment in Video) は、画像ドメインのセマンティックミキシングとビデオのギャップを埋めるトレーニング不要のフレームワークである。
生成されたビデオとユーザが提供した参照画像が与えられた後、MoCA-Videoは参照画像のセマンティックな特徴をビデオ内の特定のオブジェクトに注入する。
我々は、標準SSIM、画像レベルLPIPS、時間LPIPSを用いてMoCAの性能を評価し、新しいメトリクスCASS(Conceptual Alignment Shift Score)を導入し、ソースプロンプトと修正ビデオフレーム間の視覚的シフトの一貫性と有効性を評価する。
論文 参考訳（メタデータ） (2025-06-01T13:28:04Z) - Segment Any Motion in Videos [80.72424676419755]
本研究では,長距離軌道運動キューとDINOに基づく意味的特徴を組み合わせた移動物体セグメンテーションを提案する。
本モデルでは,動作を優先し,セマンティックサポートを統合しつつ,時空間軌道注意と動き・セマンティック・デカップリング・エンベディングを用いた。
論文 参考訳（メタデータ） (2025-03-28T09:34:11Z) - MCDS-VSS: Moving Camera Dynamic Scene Video Semantic Segmentation by Filtering with Self-Supervised Geometry and Motion [17.50161162624179]
自動運転車は意思決定に信頼性のあるセマンティックな環境認識に依存している。
本稿では,カメラのシーン形状とエゴモーションを自己教師付きで学習する構造化フィルタモデルMCDS-VSSを提案する。
我々のモデルは自動車シーンを、シーン幾何学、エゴモーション、オブジェクトモーションなどの複数の解釈可能な表現に解析する。
論文 参考訳（メタデータ） (2024-05-30T10:33:14Z) - Modeling Motion with Multi-Modal Features for Text-Based Video
Segmentation [56.41614987789537]
テキストベースのビデオセグメンテーションは、対象のオブジェクトを記述文に基づいてビデオに分割することを目的としている。
本研究では, 正確なセグメンテーションを実現するために, 外観, 動き, 言語的特徴を融合, 整合させる手法を提案する。
論文 参考訳（メタデータ） (2022-04-06T02:42:33Z) - Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。
短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
論文 参考訳（メタデータ） (2022-03-14T17:55:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。