論文の概要: Turing Patterns for Multimedia: Reaction-Diffusion Multi-Modal Fusion for Language-Guided Video Moment Retrieval

• arxiv url: http://arxiv.org/abs/2606.01615v1
• Date: Mon, 01 Jun 2026 03:02:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.893318
• Title: Turing Patterns for Multimedia: Reaction-Diffusion Multi-Modal Fusion for Language-Guided Video Moment Retrieval
• Title（参考訳）: マルチメディア用チューリングパターン:言語誘導ビデオモーメント検索のための反応拡散多モード融合
• Authors: Xiang Fang, Wanlong Fang, Wei Ji, Tat-Seng Chua,
• Abstract要約: ビデオ言語モデルは、時間的ビデオシーケンスとテキスト意味論の間の動的で非線形な相互作用を捉えるのに苦労することが多い。 反応拡散過程としてビデオ言語アライメントを再現する新しいフレームワークである textbfReaction-Diffusion Multimodal Fusion (RDMF) を提案する。 予備実験は、有能なビデオモーメントを識別する既存の手法より優れている可能性を実証している。
• 参考スコア（独自算出の注目度）: 59.55233913340214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video-language models are pivotal for tasks such as moment retrieval and highlight detection, yet they often struggle to capture the dynamic, non-linear interactions between temporal video sequences and textual semantics. Existing approaches, relying on static cross-attention or prompt-tuning mechanisms, fail to adaptively model the evolving relationships between modalities, leading to suboptimal alignment and limited generalization. Inspired by systems biology, we propose \textbf{Reaction-Diffusion Multimodal Fusion (RDMF)}, a novel framework that reimagines video-language alignment as a reaction-diffusion (RD) process, drawing on the principles of pattern formation introduced by Alan Turing. In RDMF, video features diffuse across time to capture temporal context, while text-video interactions are modeled as non-linear reactions that amplify relevant features and suppress noise, forming emergent patterns akin to biological systems. Leveraging the Gray-Scott RD model, we design a computationally efficient fusion module that integrates video and text representations, supported by rigorous mathematical analysis of stability and convergence using Turing instability criteria. Our framework is theoretically grounded, employing advanced mathematical tools to ensure stable pattern formation, and is practically viable, incorporating standard components like pretrained encoders and DETR-style heads for moment retrieval and saliency prediction. RDMF represents a pioneering interdisciplinary approach, bridging systems biology and multimedia research to address the limitations of conventional multimodal fusion. Preliminary experiments demonstrate its potential to outperform existing methods in identifying salient video moments, offering a new paradigm for video-language tasks.
• Abstract（参考訳）: ビデオ言語モデルは、モーメント検索やハイライト検出などのタスクにおいて重要であるが、時間的ビデオシーケンスとテキスト意味論の間の動的で非線形な相互作用を捉えるのに苦労することが多い。 既存のアプローチは、静的なクロスアテンションやプロンプトチューニング機構に依存しており、モダリティ間の進化する関係を適応的にモデル化することができず、最適以下のアライメントと限定的な一般化をもたらす。 本稿では,反応拡散(RD)プロセスとしてビデオ言語アライメントを再現する新しいフレームワークである「textbf{Reaction-Diffusion Multimodal Fusion(RDMF)」を提案する。 RDMFでは、ビデオの特徴は時間とともに拡散して時間的文脈を捉え、テキストとビデオの相互作用は、関連する特徴を増幅しノイズを抑制する非線形反応としてモデル化され、生物学的システムに似た創発的パターンを形成する。 Gray-Scott RDモデルを活用することで、チューリング不安定度基準を用いた安定性と収束性の厳密な数学的解析により、ビデオおよびテキスト表現を統合した計算効率の良い融合モジュールを設計する。 我々のフレームワークは理論上は基礎を成しており、安定なパターン形成を確保するために高度な数学的ツールを用いており、事前訓練エンコーダやDETRスタイルのヘッドなどの標準コンポーネントを組み込んでモーメント検索と正当性予測を行っている。 RDMFは、従来のマルチモーダル核融合の限界に対処するため、先駆的な学際的アプローチ、ブリッジシステム生物学、マルチメディア研究である。 予備実験は、ビデオ言語タスクのための新しいパラダイムを提供することで、ビデオモーメントを識別する既存の手法より優れている可能性を実証している。

関連論文リスト

• BindWeave: Subject-Consistent Video Generation via Cross-Modal Integration [56.98981194478512]
  本稿では,幅広いテーマ・ツー・ビデオシナリオを扱う統一フレームワークを提案する。 MLLM-DiTフレームワークは,事前訓練されたマルチモーダルな大規模言語モデルで,基底エンティティに対して深い相互モーダル推論を行う。 OpenS2Vベンチマークの実験により、本手法は、生成ビデオにおける主観的整合性、自然性、テキスト関連性において優れた性能を実現することを示した。
  論文  参考訳（メタデータ） (2025-10-01T02:41:11Z)
• FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
  現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。 この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。 Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。 従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:43Z)
• Enhanced Partially Relevant Video Retrieval through Inter- and Intra-Sample Analysis with Coherence Prediction [18.24629930062925]
  部分的に関連のあるビデオ検索は、テキストクエリに関連するターゲットビデオを取得することを目的としている。 既存の手法は、セマンティック空間を構築するために、ペア化されたビデオとテキストクエリを粗く整列する。 サンプル間相関とサンプル内冗長性を体系的に活用する新しいPRVRフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-28T09:52:46Z)
• VideoFusion: A Spatio-Temporal Collaborative Network for Multi-modal Video Fusion and Restoration [26.59510171451438]
  既存のマルチセンサー融合研究は、主にビデオではなく複数の画像からの補完を統合している。 VideoFusionは、時間的相補性と時間的ダイナミクスを利用して、文脈的時間的コヒーレントなビデオを生成する。 大規模な実験により、VideoFusionは、シーケンシャルなシナリオで既存の画像指向の融合パラダイムより優れていることが判明した。
  論文  参考訳（メタデータ） (2025-03-30T08:27:18Z)
• Hierarchical Banzhaf Interaction for General Video-Language Representation Learning [60.44337740854767]
  マルチモーダル表現学習は人工知能領域において重要な役割を担っている。 本稿では,多変量協調ゲーム理論を用いて,ビデオテキストをゲームプレイヤーとしてモデル化する手法を提案する。 元の構造をフレキシブルなエンコーダ・デコーダ・フレームワークに拡張し、モデルが様々な下流タスクに適応できるようにする。
  論文  参考訳（メタデータ） (2024-12-30T14:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。