論文の概要: Frame-Difference Guided Dynamic Region Perception for CLIP Adaptation in Text-Video Retrieval

• arxiv url: http://arxiv.org/abs/2510.21806v1
• Date: Tue, 21 Oct 2025 08:48:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 17:41:21.901113
• Title: Frame-Difference Guided Dynamic Region Perception for CLIP Adaptation in Text-Video Retrieval
• Title（参考訳）: テキストビデオ検索におけるCLIP適応のためのフレーム差誘導動的領域知覚
• Authors: Jiaao Yu, Mingjie Han, Tao Gong, Jian Zhang, Man Lan,
• Abstract要約: FDA-CLIP (Frame Difference Alpha-CLIP) は、CLIPベースのテキスト・ビデオアライメントのための簡潔なトレーニングフレームワークである。 この手法では,Alpha-CLIPに入力された動的領域マスクをAlphaチャネルとして,フレーム差を用いて生成する。 フレーム差分誘導ビデオセマンティックエンコーディングは、効率と精度を効果的にバランスできることを示す実験である。
• 参考スコア（独自算出の注目度）: 12.972857287063064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid growth of video data, text-video retrieval technology has become increasingly important in numerous application scenarios such as recommendation and search. Early text-video retrieval methods suffer from two critical drawbacks: first, they heavily rely on large-scale annotated video-text pairs, leading to high data acquisition costs; second, there is a significant modal gap between video and text features, which limits cross-modal alignment accuracy. With the development of vision-language model, adapting CLIP to video tasks has attracted great attention. However, existing adaptation methods generally lack enhancement for dynamic video features and fail to effectively suppress static redundant features. To address this issue, this paper proposes FDA-CLIP (Frame Difference Alpha-CLIP), which is a concise CLIP-based training framework for text-video alignment. Specifically, the method uses frame differences to generate dynamic region masks, which are input into Alpha-CLIP as an additional Alpha channel. This proactively guides the model to focus on semantically critical dynamic regions while suppressing static background redundancy. Experiments demonstrate that frame difference-guided video semantic encoding can effectively balance retrieval efficiency and accuracy.
• Abstract（参考訳）: ビデオデータの急速な増加に伴い、レコメンデーションや検索といった多くのアプリケーションシナリオにおいて、テキストビデオ検索技術の重要性が高まっている。 初期のテキストビデオ検索手法には2つの重大な欠点がある: まず、大規模なアノテーション付きビデオテキストペアに強く依存し、高いデータ取得コストをもたらす。 視覚言語モデルの開発により、CLIPをビデオタスクに適応させることに大きな注目を集めている。 しかし、既存の適応手法では、動的ビデオ機能の拡張が欠如しており、静的な冗長な特徴を効果的に抑制できない。 そこで本研究では,CLIPに基づくテキスト・ビデオアライメントのための簡潔なトレーニングフレームワークであるFDA-CLIP(Frame Difference Alpha-CLIP)を提案する。 具体的には,Alpha-CLIPに追加のAlphaチャネルとして入力される動的領域マスクを生成するために,フレーム差を利用する。 このことは、静的な背景冗長性を抑えながら、意味的に重要な動的領域に集中するようにモデルを積極的に導く。 フレーム差分誘導ビデオセマンティックエンコーディングは、効率と精度を効果的にバランスできることを示す実験である。

関連論文リスト

• FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
  現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。 この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。 Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。 従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:43Z)
• Less is More: Token-Efficient Video-QA via Adaptive Frame-Pruning and Semantic Graph Integration [24.337139909108117]
  過剰なフレームが文脈の希釈によってパラドックス的に性能を低下させる「レスはそれ以上」現象である。 視覚エコー」は「視覚エコー」という時間的冗長性を有する AFP"は、ResNet-50とCLIPの機能空間に適応的な階層的クラスタリングアルゴリズムを用いて、これらのエコーを単一の代表に識別し、マージする。 我々の完全なアプローチは、必要なフレームを86.9%まで、合計入力トークンを83.2%まで劇的に削減することを示しています。
  論文  参考訳（メタデータ） (2025-08-05T11:31:55Z)
• FiLA-Video: Spatio-Temporal Compression for Fine-Grained Long Video Understanding [17.71123451197036]
  ビデオデータの複雑さとコンテキスト処理の制限は、長いビデオの理解を妨げる。 本稿では,複数のフレームを単一の表現に統合する新しいフレームワークであるFiLA-Videoを提案する。 FiLA-Videoは、従来の方法に比べて、長時間ビデオ理解において優れた効率と精度を実現している。
  論文  参考訳（メタデータ） (2025-04-29T03:09:46Z)
• Prompt Switch: Efficient CLIP Adaptation for Text-Video Retrieval [24.691270610091554]
  本稿では,ビデオから意味的に強調された表現を純粋に学習し,ビデオ表現をオフラインで計算し,異なるテキストに対して再利用することを目的とする。 MSR-VTT, MSVD, LSMDCの3つのベンチマークデータセット上で, 最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2023-08-15T08:54:25Z)
• Fine-grained Text-Video Retrieval with Frozen Image Encoders [10.757101644990273]
  2段階のテキストビデオ検索アーキテクチャであるCrossTVRを提案する。 第1段階では,既存のTVR手法とコサイン類似性ネットワークを利用して,効率的なテキスト/ビデオ候補選択を行う。 第2段階では,空間次元と時間次元の細粒度マルチモーダル情報をキャプチャするビデオテキストクロスアテンションモジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-14T02:57:00Z)
• Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
  本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。 我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
  論文  参考訳（メタデータ） (2023-06-13T17:52:23Z)
• Video Corpus Moment Retrieval with Contrastive Learning [56.249924768243375]
  ビデオコーパスモーメント検索(VCMR)は、与えられたテキストクエリに意味的に対応する時間モーメントを取得することです。 VCMRのためのコントラシブラーニング(ReLoCLNet)を用いた検索・ローカリゼーションネットワークを提案する。 実験の結果、ReLoCLNetは効率のためにテキストとビデオを個別にエンコードし、その検索精度はクロスモーダル相互作用学習を採用するベースラインと匹敵する。
  論文  参考訳（メタデータ） (2021-05-13T12:54:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。