論文の概要: Efficient Multi-modal Video Fusion Network with Dynamic Region-Guided Temporal Interaction
- arxiv url: http://arxiv.org/abs/2610.34765v1
- Date: Mon, 26 Oct 2026 03:09:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.713604
- Title: Efficient Multi-modal Video Fusion Network with Dynamic Region-Guided Temporal Interaction
- Title（参考訳）: 動的領域誘導時間相互作用を用いたマルチモーダルビデオ融合ネットワーク
- Abstract要約: 本稿では,動的領域誘導型時間的相互作用を持つ効率的なマルチモーダルビデオ融合ネットワークを提案する。
動的領域内における時間的変動間の方向距離を定量化する,MAEに基づく新しい時間的指標を提案する。
実験により,既存の最先端手法と比較して,融合品質と時間的整合性に優れることを示した。
- 参考スコア（独自算出の注目度）: 6.917742119737032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal video fusion aims to generate temporally coherent videos with salient targets and rich structural details by integrating complementary information from heterogeneous sensors. However, existing video fusion methods commonly rely on optical flow estimation and feature warping for inter-frame alignment and cross-frame information aggregation to maintain temporal consistency, thereby introducing considerable computational overhead and making the fusion performance vulnerable to flow estimation errors. To address these limitations, this paper proposes an efficient multi-modal video fusion network with dynamic region-guided temporal interaction. Specifically, the proposed spatio-temporal interaction module leverages the Test-Time Training paradigm to model temporal dependencies with linear complexity. Building on this design, the module restricts temporal modeling to key dynamic regions in the video sequence, as static background regions provide limited temporal cues. By excluding low-variation tokens from unnecessary temporal interaction, this selective strategy contributes to improved fusion quality and temporal consistency. In addition, leveraging the strong ability of pretrained MAE features to capture global structural dependencies, we introduce a feature-level temporal consistency constraint to suppress local flickering by aligning the inter-frame variation directions of the fused and source videos. We further propose a new MAE-based temporal metric that quantifies directional distance between their temporal variations within dynamic regions. Experimental results demonstrate that, compared with existing state-of-the-art methods, our method achieves superior fusion quality and temporal consistency on multiple benchmark datasets, while exhibiting high computational efficiency under edge-device deployment settings.
- Abstract（参考訳）: マルチモーダルビデオ融合は、異種センサからの相補的情報を統合することにより、有意な目標と豊富な構造を持った時間的コヒーレントなビデオを生成することを目的としている。
しかし、既存のビデオフュージョン法は、時間的一貫性を維持するために、フレーム間アライメントとクロスフレーム情報アグリゲーションのための光学的フロー推定と特徴ワープに依存しており、これにより、かなりの計算オーバーヘッドが発生し、フロー推定誤差に脆弱な融合性能を実現する。
これらの制約に対処するために,動的領域誘導時間相互作用を持つ効率的なマルチモーダルビデオ融合ネットワークを提案する。
特に、提案する時空間相互作用モジュールは、テスト時間トレーニングパラダイムを利用して、線形複雑度で時間依存性をモデル化する。
この設計に基づいて、モジュールは時間的モデリングをビデオシーケンスのキーダイナミック領域に制限する。
不要な時間的相互作用から低変量トークンを除外することにより、この選択戦略は融合品質と時間的一貫性の改善に寄与する。
さらに,事前学習したMAE機能によるグローバルな構造的依存関係の捕捉能力を活用し,融合映像とソース映像のフレーム間変動方向を整列させて局所的なフレッカリングを抑制する特徴レベルの時間的一貫性制約を導入する。
さらに、動的領域における時間的変動間の方向距離を定量化する、新しいMAEに基づく時間的計量法を提案する。
実験により,既存の最先端手法と比較して,エッジデバイス配置設定下で高い計算効率を示しながら,複数のベンチマークデータセット上での融合品質と時間的整合性を実現していることが示された。
関連論文リスト
- Multi-Scale Latent Temporal Compression Attention and Video-Text Cross Attention Fusion for Video Action Detection [6.008736333630327]
マルチスケール遅延時間圧縮注意に基づくビデオ時間アテンションモジュールを提案する。
また、潜在機能レベルと標準機能レベルの両方でクロスアテンションを利用する、Video-Text Cross Attention Fusionモジュールも導入しています。
複数のビデオ認識ベンチマークによる実験結果から,提案手法は既存手法と比較して優れた性能を示した。
論文 参考訳（メタデータ） (2026-10-21T04:08:49Z) - Video-Text Temporal Localization via Multi-Scale Convolution and Dynamic Routing [7.704586969939547]
ビデオテキストの時間的ローカライゼーションには、自然言語クエリと対応するビデオセグメントの正確なアライメントが必要である。
本稿では,既存手法の2つの限界に対処する新しい枠組みを提案する。
その結果,階層型時間モデルと構造化セマンティック・ルーティングを組み合わせることで,ビデオ言語理解に有効な解が得られた。
論文 参考訳（メタデータ） (2026-07-06T13:52:46Z) - STAG: Spatio-temporal Evolving Structural Representation of Action Units for Micro-expression Recognition [0.7799711162530713]
微小な表情認識は、微妙で短命な顔面筋運動のために困難である。
既存の手法は頂点オンセットのフレームに大きく依存し、微粒なフレーム間ダイナミクスを見落とし、空間情報と時間情報を別々にモデル化する。
本稿では,動的ROI-AU結合型時空間ネットワークSTAGを提案する。
論文 参考訳（メタデータ） (2026-06-26T13:46:48Z) - Turing Patterns for Multimedia: Reaction-Diffusion Multi-Modal Fusion for Language-Guided Video Moment Retrieval [59.55233913340214]
ビデオ言語モデルは、時間的ビデオシーケンスとテキスト意味論の間の動的で非線形な相互作用を捉えるのに苦労することが多い。
反応拡散過程としてビデオ言語アライメントを再現する新しいフレームワークである textbfReaction-Diffusion Multimodal Fusion (RDMF) を提案する。
予備実験は、有能なビデオモーメントを識別する既存の手法より優れている可能性を実証している。
論文 参考訳（メタデータ） (2026-06-01T03:02:35Z) - UniDiff: A Unified Diffusion Framework for Multimodal Time Series Forecasting [90.47915032778366]
マルチモーダル時系列予測のための統合拡散フレームワークUniDiffを提案する。
コアには統一的で並列な融合モジュールがあり、単一のクロスアテンション機構がタイムスタンプからの構造化情報とテキストからのセマンティックコンテキストを統合する。
8つの領域にわたる実世界のベンチマークデータセットの実験は、提案したUniDiffモデルが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2025-12-08T05:36:14Z) - DAMS:Dual-Branch Adaptive Multiscale Spatiotemporal Framework for Video Anomaly Detection [7.117824587276951]
この研究は、マルチレベル特徴とデカップリング融合に基づくDual-Branch Adaptive Multiscale Stemporal Framework (DAMS)と呼ばれるデュアルパスアーキテクチャを提供する。
主処理経路は、適応型マルチスケール時間ピラミッドネットワーク(AMTPN)と畳み込みブロック注意機構(CBAM)を統合している。
論文 参考訳（メタデータ） (2025-07-28T08:42:00Z) - Exploiting Multimodal Spatial-temporal Patterns for Video Object Tracking [53.33637391723555]
本研究では,STTrack というマルチモーダル空間時間追跡手法を提案する。
従来のパラダイムとは対照的に,マルチモーダル時間情報を含むトークン列を連続的に生成する時間状態生成器(TSG)を導入している。
これらの時間情報トークンは、次の時刻におけるターゲットの局所化を誘導し、ビデオフレーム間の長距離コンテキスト関係を確立し、ターゲットの時間軌道を捕捉するために使用される。
論文 参考訳（メタデータ） (2024-12-20T09:10:17Z) - Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳（メタデータ） (2024-02-05T11:00:14Z) - Video Frame Interpolation Transformer [86.20646863821908]
本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。
グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。
さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
論文 参考訳（メタデータ） (2021-11-27T05:35:10Z) - TAM: Temporal Adaptive Module for Video Recognition [60.83208364110288]
時間適応モジュール(bf TAM)は、自身の特徴マップに基づいてビデオ固有の時間カーネルを生成する。
Kinetics-400およびSomethingデータセットの実験は、我々のTAMが他の時間的モデリング手法より一貫して優れていることを示した。
論文 参考訳（メタデータ） (2020-05-14T08:22:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。