論文の概要: Mitigating Modality and Language-Style Gaps for Zero-Shot Video Moment Retrieval

• arxiv url: http://arxiv.org/abs/2607.19027v1
• Date: Tue, 21 Jul 2026 12:16:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.419513
• Title: Mitigating Modality and Language-Style Gaps for Zero-Shot Video Moment Retrieval
• Title（参考訳）: ゼロショット動画モーメント検索のためのモダリティと言語スタイルのギャップの緩和
• Abstract要約: 自己相似性に基づくモーメント提案とスコーリングを提案する。 ビデオコンテンツからのみ自己相似性を導出することにより、クエリフレームやクエリキャプションの類似性のノイズやミスマッチパターンを回避することができる。 また、テキストとビデオのアライメントをさらに深めるために、クエリ対応MLLMベースの推論ステージも導入する。
• 参考スコア（独自算出の注目度）: 41.787320093855506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot video moment retrieval aims to overcome the limitations of traditional approaches that require large-scale datasets annotated with text and its relevant temporal spans. Despite advances in pre-trained vision-language models and multimodal large language models, existing ZMR methods still heavily depend on query-to-video content similarity, making them vulnerable to modality and language-style gaps. These gaps lead to unreliable span proposals and unstable moment retrieval results. To address this issue, we propose Self-Similarity-based Moment Proposal and Scoring that instead exploits intrinsic relationships within videos, enabling robust span generation and scoring. By deriving self-similarity only from the video content, we circumvent the noisy and mismatched patterns of query-frame or query-caption similarities, thereby mitigating both modality and language-style gaps. Furthermore, we introduce a query-aware MLLM-based reasoning stage to further sharpen alignment between text and video. Extensive experiments demonstrate that Self-SiMS achieves state-of-the-art performance across ZMR benchmarks.
• Abstract（参考訳）: ゼロショットビデオモーメント検索は、テキストと関連する時間的スパンを注釈付けした大規模データセットを必要とする従来のアプローチの制限を克服することを目的としている。 事前訓練された視覚言語モデルとマルチモーダルな大規模言語モデルの発展にもかかわらず、既存のZMR手法は依然としてクエリとビデオの類似性に大きく依存しており、モダリティや言語スタイルのギャップに弱い。 これらのギャップは信頼性の低いスパンの提案と不安定なモーメント検索結果につながる。 この問題に対処するために,ビデオ内の本質的な関係を利用して,ロバストなスパン生成とスコアリングを可能にする,自己相似型モーメント提案とスコアリングを提案する。 ビデオコンテンツからのみ自己相似性を導出することにより、クエリフレームやクエリキャプションの類似性のノイズやミスマッチパターンを回避し、モダリティと言語スタイルのギャップを緩和する。 さらに、テキストとビデオのアライメントをさらに深めるために、クエリ対応MLLMベースの推論ステージを導入する。 大規模な実験により、Self-SiMSはZMRベンチマークで最先端のパフォーマンスを実現している。

関連論文リスト

• STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models [81.32710031596591]
  ビデオ推論タスクには、動きの追跡、時間順、フレーム全体の視覚状態の進化が必要である。 視覚言語モデル(LVLM)上に構築された既存の手法はしばしば、チェーン・オブ・ソート(CoT)を通じて推論を外部化することでこの問題に対処する。 STORMSは,LVLMに明示的なテキストCoTではなく,有界な連続的な潜在軌道を推論する2段階のフレームワークである。
  論文  参考訳（メタデータ） (2026-05-25T16:33:00Z)
• DATE: Dynamic Absolute Time Enhancement for Long Video Understanding [8.720269393713451]
  長期ビデオ理解はマルチモーダル大言語モデル(MLLM)の根本的な課題であり続けている MLLMにおける時間的意識を高める動的絶対時間拡張(DATE)を提案する。 本稿では,意味的関連性と時間的関連性の両方を保証するための2段階アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-09-11T08:49:22Z)
• Bridging Vision and Language: Modeling Causality and Temporality in Video Narratives [0.0]
  本稿では,Causal-Temporal Reasoning Moduleを最先端のLVLMに統合する拡張フレームワークを提案する。 CTRMはCausal Dynamics(CDE)とTemporal Learner(TRL)の2つの重要なコンポーネントから構成される。 大規模ビデオテキストデータセットの事前学習を併用して,モデル最適化のための多段階学習戦略を設計する。
  論文  参考訳（メタデータ） (2024-12-14T07:28:38Z)
• On the Consistency of Video Large Language Models in Temporal Comprehension [57.985769348320616]
  ビデオ大言語モデル(Video-LLMs)は、時間的に言語クエリを解析し、ビデオモーメントを検索することができる。 予測整合性 - 時間的根拠の堅牢性と信頼性を示す重要な指標である。
  論文  参考訳（メタデータ） (2024-11-20T00:47:17Z)
• MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
  Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。 既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。 この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。 本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
  論文  参考訳（メタデータ） (2024-06-25T18:39:43Z)
• Zero-Shot Video Moment Retrieval from Frozen Vision-Language Models [58.17315970207874]
  モーメント・テキストアライメントを容易にするため、任意のVLMから一般化可能なビジュアル・テクスチャの事前適応のためのゼロショット手法を提案する。 3つのVMRベンチマークデータセットで実施された実験は、ゼロショットアルゴリズムの顕著なパフォーマンス上の利点を示している。
  論文  参考訳（メタデータ） (2023-09-01T13:06:50Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• Frame-wise Cross-modal Matching for Video Moment Retrieval [32.68921139236391]
  ビデオモーメント検索は、与えられた言語クエリのためにビデオ中の瞬間を検索するターゲットである。 本課題は,1)未編集ビデオにおける関連モーメントのローカライズの必要性,2)テキストクエリとビデオコンテンツ間のセマンティックなギャップを埋めることである。 本稿では,対話モデルに基づいて時間境界を予測できる注意的相互関連マッチングモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-22T10:25:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。