論文の概要: Text-Video Retrieval via Multi-Dimensional Saliency Assessment and Granularity-Aware Query Decomposition

• arxiv url: http://arxiv.org/abs/2609.38949v1
• Date: Wed, 30 Sep 2026 04:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.181381
• Title: Text-Video Retrieval via Multi-Dimensional Saliency Assessment and Granularity-Aware Query Decomposition
• Title（参考訳）: 多次元塩分濃度評価と粒度を考慮した問合せ分解によるテキストビデオ検索
• Abstract要約: 本稿では,視覚的冗長性を共同で分解し,マルチグラデーションなテキスト-ビデオインタラクションを実現するMMTIを提案する。 提案するマルチグラデーション・テキスト・ビデオ・インタラクション・モジュール (TVIM) は,テキスト・クエリのテキスト・フレーム・パッチ・クエリへの動的ゲーティング・メカニズムを採用している。
• 参考スコア（独自算出の注目度）: 9.336474610168981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-video retrieval, which aims to bridge visual and textual modalities by learning a joint embedding space, has become a crucial task in multimodal intelligence. Despite extensive efforts to mitigate visual redundancy, previous methods typically rely on a single-aspect criterion to assess visual importance, overlooking the multifaceted spatiotemporal nature of video. In addition, encoding text into a single global embedding to align with videos compresses temporal events and spatial entities into a unified representation space, further aggravating cross-modal misalignment. To address these issues, we propose MMTI, a method that jointly mitigates visual redundancy and enables multi-grained text-video interaction to achieve accurate multi-grained semantic alignment. Specifically, a key feature selection (KFS) mechanism adaptively identifies and aggregates informative frames and patches by jointly evaluating multi-dimensional saliency and learnable importance scores, effectively compacting dense visual features and mitigating visual redundancy. Furthermore, our proposed multi-grained text-video interaction module (TVIM) employs a dynamic gating mechanism to decompose the text query into sentence, frame, and patch queries (SFP), enabling multi-grained text-video alignment. Complementary alignment at different granularities is thereby achieved. Extensive experiments on four standard benchmarks demonstrate that our method outperforms state-of-the-art methods.
• Abstract（参考訳）: 共同埋め込み空間を学習することで視覚とテキストのモダリティを橋渡しすることを目的としたテキストビデオ検索は,マルチモーダルインテリジェンスにおいて重要な課題となっている。 視覚的冗長性を緩和するための広範囲な努力にもかかわらず、従来の手法はビデオの多面的空間的性質を見越して、視覚的重要性を評価するために一視点的基準に依存していた。 さらに、テキストを単一のグローバルな埋め込みにエンコードして、ビデオに合わせることで、時間的事象や空間的実体を統一された表現空間に圧縮し、さらにモダル間のミスアライメントを増大させる。 これらの課題に対処するために,視覚的冗長性を緩和し,多粒度テキストとビデオのインタラクションにより正確な多粒度セマンティックアライメントを実現するMMTIを提案する。 具体的には、キー特徴選択(KFS)機構は、多次元の唾液度と学習可能な重要度を共同で評価し、高密度な視覚的特徴を効果的にコンパクト化し、視覚的冗長性を緩和することにより、情報的フレームとパッチを適応的に識別し集約する。 さらに,本提案では,テキストクエリをテキスト,フレーム,パッチクエリ(SFP)に分解する動的ゲーティング機構を用いて,マルチグラインドなテキストビデオアライメントを実現する。 これにより、異なる粒度の補足アライメントが達成される。 4つの標準ベンチマークでの大規模な実験により、我々の手法は最先端の手法よりも優れていることが示された。

関連論文リスト

• VSI: Visual Subtitle Integration for Keyframe Selection to enhance Long Video Understanding [22.400847202448478]
  長いビデオ理解は、大言語モデル(ML)に重大な課題をもたらす VisualSubtitleation (VSI)はサブタイトル、セマンティックタイムスタンプ、シーン境界を統合されたマルチモーダル検索プロセスに統合する。 提案手法は,ビデオフレームの視覚情報と補完的なテキスト情報とを,二重ストリーム検索機構を用いてキャプチャする。
  論文  参考訳（メタデータ） (2025-08-09T07:38:48Z)
• GAID: Frame-Level Gated Audio-Visual Integration with Directional Perturbation for Text-Video Retrieval [12.483734449829235]
  GAIDは、テキストガイダンスの下でオーディオと視覚機能を統合するフレームワークである。 DASPは、構造を意識した摂動をテキスト埋め込みに注入し、マルチパス推論を発生させることなく、堅牢性と差別性を高める。 MSR-VTT, DiDeMo, LSMDC, VATEXによる実験では, 顕著な効率向上が得られた。
  論文  参考訳（メタデータ） (2025-08-03T10:44:24Z)
• VidText: Towards Comprehensive Evaluation for Video Text Understanding [56.121054697977115]
  VidTextは、ビデオテキスト理解の総合的かつ詳細な評価のためのベンチマークである。 さまざまな現実世界のシナリオをカバーし、多言語コンテンツをサポートする。 ビデオレベル、クリップレベル、インスタンスレベルのタスクを備えた階層的評価フレームワークを導入している。
  論文  参考訳（メタデータ） (2025-05-28T19:39:35Z)
• Prototypes are Balanced Units for Efficient and Effective Partially Relevant Video Retrieval [23.75587275795415]
  本稿では,ビデオ内のさまざまなコンテキストを一定数のプロトタイプにエンコードするプロトタイプPRVRフレームワークを提案する。 ビデオコンテキストを正確に符号化しながら、テキストクエリを介してプロトタイプを検索できるように、クロスモーダルおよびユニモーダル再構成タスクを実装した。
  論文  参考訳（メタデータ） (2025-04-17T15:43:29Z)
• Bridging Information Asymmetry in Text-video Retrieval: A Data-centric Approach [56.610806615527885]
  テキストビデオ検索(TVR)における重要な課題は、ビデオとテキスト間の情報非対称性である。 本稿では,このギャップを埋めるために,テキスト表現を豊かにすることで,映像コンテンツの豊かさに合わせたデータ中心のフレームワークを提案する。 本稿では,最も関連性が高く多様なクエリを識別し,計算コストを低減し,精度を向上するクエリ選択機構を提案する。
  論文  参考訳（メタデータ） (2024-08-14T01:24:09Z)
• Multi-Granularity and Multi-modal Feature Interaction Approach for Text Video Retrieval [6.656989511639513]
  テキスト・トゥ・ビデオ検索(TVR)タスクの鍵は、各テキスト(単語からなる)とビデオ(音声と画像のフレームを構成する)のそれぞれに固有の類似性を学ぶことである。 テキストフレームとワードフレームからなるMGFIと呼ばれる新しい多言語機能相互作用モジュールを提案する。 また,ビデオ中のフレームの表現不足を解消するため,CMFIと呼ばれる音声とテキストのクロスモーダルなインタラクションモジュールも導入した。
  論文  参考訳（メタデータ） (2024-06-21T02:28:06Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• SOC: Semantic-Assisted Object Cluster for Referring Video Object Segmentation [35.063881868130075]
  本稿では,映像レベルの視覚言語的アライメントを高めることによって,映像オブジェクトセグメンテーション(RVOS)について述べる。 本稿では,映像コンテンツとテキストガイダンスを集約したセマンティック支援オブジェクトクラスタ(SOC)を提案する。 我々は、人気のあるRVOSベンチマークで広範な実験を行い、我々の手法は、すべてのベンチマークにおける最先端の競合よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2023-05-26T15:13:44Z)
• Modeling Motion with Multi-Modal Features for Text-Based Video Segmentation [56.41614987789537]
  テキストベースのビデオセグメンテーションは、対象のオブジェクトを記述文に基づいてビデオに分割することを目的としている。 本研究では, 正確なセグメンテーションを実現するために, 外観, 動き, 言語的特徴を融合, 整合させる手法を提案する。
  論文  参考訳（メタデータ） (2022-04-06T02:42:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。