論文の概要: SMART: Shot-Aware Multimodal Video Moment Retrieval with Audio-Enhanced MLLM

• arxiv url: http://arxiv.org/abs/2511.14143v1
• Date: Tue, 18 Nov 2025 05:03:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 16:23:52.945825
• Title: SMART: Shot-Aware Multimodal Video Moment Retrieval with Audio-Enhanced MLLM
• Title（参考訳）: SMART:マルチモーダル動画のマルチモーダル検索
• Authors: An Yu, Weiheng Lu, Jian Li, Zhenfei Zhang, Yunhang Shen, Felix X. -F. Ye, Ming-Ching Chang,
• Abstract要約: Video Moment Retrievalは、自然言語クエリに基づいて、トリミングされていないビデオに特定の時間セグメントをローカライズすることを目的としている。 既存の手法の多くは、いまだに粗い時間的理解と単一の視覚的モダリティに依存しており、複雑なビデオのパフォーマンスを制限している。 textitShot-aware textitMulti textitAudio-enhanced textitRetrieval of textitSegmentsを紹介する。
• 参考スコア（独自算出の注目度）: 34.75500054479833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video Moment Retrieval is a task in video understanding that aims to localize a specific temporal segment in an untrimmed video based on a natural language query. Despite recent progress in moment retrieval from videos using both traditional techniques and Multimodal Large Language Models (MLLM), most existing methods still rely on coarse temporal understanding and a single visual modality, limiting performance on complex videos. To address this, we introduce \textit{S}hot-aware \textit{M}ultimodal \textit{A}udio-enhanced \textit{R}etrieval of \textit{T}emporal \textit{S}egments (SMART), an MLLM-based framework that integrates audio cues and leverages shot-level temporal structure. SMART enriches multimodal representations by combining audio and visual features while applying \textbf{Shot-aware Token Compression}, which selectively retains high-information tokens within each shot to reduce redundancy and preserve fine-grained temporal details. We also refine prompt design to better utilize audio-visual cues. Evaluations on Charades-STA and QVHighlights show that SMART achieves significant improvements over state-of-the-art methods, including a 1.61\% increase in R1@0.5 and 2.59\% gain in R1@0.7 on Charades-STA.
• Abstract（参考訳）: Video Moment Retrieval(ビデオモーメント・レトリーヴァル)は、自然言語クエリに基づくビデオの特定の時間セグメントをローカライズすることを目的とした、ビデオ理解のタスクである。 従来の手法とMLLM(Multimodal Large Language Models)の両方を用いたビデオからのモーメント検索の進歩にもかかわらず、既存のほとんどの手法は依然として粗い時間的理解と単一の視覚的モダリティに依存しており、複雑なビデオのパフォーマンスを制限している。 これを解決するために、音声キューを統合してショットレベルの時間構造を利用するMLLMベースのフレームワークである \textit{S}hot-aware \textit{M}ultimodal \textit{A}udio-enhanced \textit{R}etrieval of \textit{T}emporal \textit{S}egments (SMART)を紹介した。 SMARTは、ショット内の高情報トークンを選択的に保持し、冗長性を低減し、きめ細かい時間的詳細を保存しながら、音声と視覚的特徴を組み合わせることで、マルチモーダル表現を充実させる。 また、オーディオ・ビジュアル・キューをよりよく活用するために、プロンプトデザインを洗練します。 Charades-STAとQVHighlightsの評価によると、SMARTは、R1@0.5の1.61\%、Charades-STAのR1@0.7の2.59\%の増加など、最先端の手法よりも大幅に改善されている。

関連論文リスト

• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
  Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。 既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。 この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。 本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
  論文  参考訳（メタデータ） (2024-06-25T18:39:43Z)
• Mirasol3B: A Multimodal Autoregressive model for time-aligned and contextual modalities [67.89368528234394]
  マルチモーダル学習の主な課題の1つは、異質なモダリティを組み合わせる必要があることである。 ビデオとオーディオはテキストよりもはるかに高いレートで取得され、ほぼ時間内に整列される。 我々の手法は、確立されたマルチモーダルベンチマークの最先端性を達成し、はるかに大きなモデルより優れている。
  論文  参考訳（メタデータ） (2023-11-09T19:15:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。