論文の概要: HVD: Human Vision-Driven Video Representation Learning for Text-Video Retrieval

• arxiv url: http://arxiv.org/abs/2601.16155v1
• Date: Thu, 22 Jan 2026 17:57:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.683756
• Title: HVD: Human Vision-Driven Video Representation Learning for Text-Video Retrieval
• Title（参考訳）: HVD:テキストビデオ検索のためのヒューマンビジョン駆動型ビデオ表現学習
• Authors: Zequn Xie, Xin Liu, Boyun Zhang, Yuxiao Lin, Sihang Cai, Tao Jin,
• Abstract要約: 人間ビジョン駆動(Human Vision-Driven, HVD)モデルは、人間の視覚的な焦点を捉え、最先端のパフォーマンスを達成する。 本フレームワークは,2つのキーコンポーネントから構成される粗大なアライメント機構を確立する。 5つのベンチマークの実験では、HVDは人間のような視覚的焦点をキャプチャするだけでなく、最先端のパフォーマンスも達成している。
• 参考スコア（独自算出の注目度）: 11.757493828625869
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of CLIP has driven substantial progress in text-video retrieval. However, current methods often suffer from "blind" feature interaction, where the model struggles to discern key visual information from background noise due to the sparsity of textual queries. To bridge this gap, we draw inspiration from human cognitive behavior and propose the Human Vision-Driven (HVD) model. Our framework establishes a coarse-to-fine alignment mechanism comprising two key components: the Frame Features Selection Module (FFSM) and the Patch Features Compression Module (PFCM). FFSM mimics the human macro-perception ability by selecting key frames to eliminate temporal redundancy. Subsequently, PFCM simulates micro-perception by aggregating patch features into salient visual entities through an advanced attention mechanism, enabling precise entity-level matching. Extensive experiments on five benchmarks demonstrate that HVD not only captures human-like visual focus but also achieves state-of-the-art performance.
• Abstract（参考訳）: CLIPの成功は、テキストビデオ検索の大幅な進歩をもたらした。 しかし、現在の手法では、テキストクエリの幅が狭いため、背景ノイズから重要な視覚情報を識別するのに苦労する「盲」機能相互作用に悩まされることが多い。 このギャップを埋めるために、人間の認知行動からインスピレーションを得て、Human Vision-Driven (HVD)モデルを提案する。 本フレームワークは,フレーム特徴選択モジュール (FFSM) とパッチ特徴圧縮モジュール (PFCM) の2つの主要コンポーネントから構成される粗大なアライメント機構を確立する。 FFSMは、キーフレームを選択して時間的冗長性を排除することで、人間のマクロ知覚能力を模倣する。 その後、PFCMは、高度な注意機構を通じてパッチ特徴を正常な視覚エンティティに集約することで、マイクロパーセプションをシミュレートし、正確なエンティティレベルのマッチングを可能にする。 5つのベンチマークでの大規模な実験は、HVDが人間のような視覚的焦点を捉えているだけでなく、最先端のパフォーマンスも達成していることを示している。

関連論文リスト

• FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
  現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。 この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。 Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。 従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:43Z)
• Feature Hallucination for Self-supervised Action Recognition [37.20267786858476]
  本稿では,RGBビデオフレームからの動作概念と補助的特徴を共同で予測することにより,認識精度を向上させるディープトランスレーショナルアクション認識フレームワークを提案する。 本研究では,Kineetics-400,Kineetics-600,Something V2など,複数のベンチマーク上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-06-25T11:50:23Z)
• DVLTA-VQA: Decoupled Vision-Language Modeling with Text-Guided Adaptation for Blind Video Quality Assessment [17.85550556489256]
  本稿では,Blind Video Quality Assessment (DVLTA-VQA) のためのテキストガイド適応を用いたデカップリング型視覚言語モデルを提案する。 ビデオベーステンポラルCLIPモジュールは、時間的ダイナミクスを明示的にモデル化し、背側ストリームと整合して運動知覚を高める。 時間的コンテキストモジュールは、フレーム間の依存関係を洗練し、モーションモデリングをさらに改善するために開発されている。 最後に、空間情報と時間情報のより効果的な統合を可能にするために、テキスト誘導型適応融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-16T03:20:28Z)
• Open-Vocabulary Animal Keypoint Detection with Semantic-feature Matching [74.75284453828017]
  Open-Vocabulary Keypoint Detection (OVKD)タスクは、任意の種類のキーポイントを特定するためにテキストプロンプトを使用するように設計されている。 セマンティック・フェールマッチング(KDSM)を用いた開語彙キーポイント検出(Open-Vocabulary Keypoint Detection)という新しいフレームワークを開発した。 このフレームワークは視覚と言語モデルを組み合わせて、言語機能とローカルキーポイント視覚機能との相互作用を作成する。
  論文  参考訳（メタデータ） (2023-10-08T07:42:41Z)
• Let's Think Frame by Frame with VIP: A Video Infilling and Prediction Dataset for Evaluating Video Chain-of-Thought [62.619076257298204]
  我々は、少数のビデオ推論のシーケンシャルな理解として、フレーミングビデオ推論を動機付けている。 VIPは、ビデオチェーンオブ思考を通してモデルの推論能力を調べるために設計された、推論時の課題データセットである。 我々は、VIP上でGPT-4、GPT-3、VICUNAをベンチマークし、複雑なビデオ推論タスクのパフォーマンスギャップを実証し、今後の作業を促進する。
  論文  参考訳（メタデータ） (2023-05-23T10:26:42Z)
• Slow-Fast Visual Tempo Learning for Video-based Action Recognition [78.3820439082979]
  アクション・ビジュアル・テンポ(Action visual tempo)は、アクションのダイナミクスと時間スケールを特徴付ける。 以前の方法は、複数のレートで生のビデオをサンプリングするか、階層的にバックボーンの特徴をサンプリングすることによって、視覚的テンポをキャプチャする。 単一層における低レベルバックボーン特徴からアクション・テンポを抽出するための時間相関モジュール(TCM)を提案する。
  論文  参考訳（メタデータ） (2022-02-24T14:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。