論文の概要: Dual Learning with Dynamic Knowledge Distillation and Soft Alignment for Partially Relevant Video Retrieval

• arxiv url: http://arxiv.org/abs/2510.12283v1
• Date: Tue, 14 Oct 2025 08:38:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.254386
• Title: Dual Learning with Dynamic Knowledge Distillation and Soft Alignment for Partially Relevant Video Retrieval
• Title（参考訳）: 部分関連ビデオ検索のための動的知識蒸留とソフトアライメントによるデュアルラーニング
• Authors: Jianfeng Dong, Lei Huang, Daizong Liu, Xianke Chen, Xun Yang, Changting Lin, Xun Wang, Meng Wang,
• Abstract要約: 実際には、ビデオは通常、より複雑な背景コンテンツによって、長い時間で切り離される。 本稿では,大規模視覚言語事前学習モデルから一般化知識を抽出する新しい枠組みを提案する。 実験により,本モデルがTVR,ActivityNet,Charades-STAデータセット上での最先端性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 53.54695034420311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Almost all previous text-to-video retrieval works ideally assume that videos are pre-trimmed with short durations containing solely text-related content. However, in practice, videos are typically untrimmed in long durations with much more complicated background content. Therefore, in this paper, we focus on the more practical yet challenging task of Partially Relevant Video Retrieval (PRVR), which aims to retrieve partially relevant untrimmed videos with the given query. To tackle this task, we propose a novel framework that distills generalization knowledge from a powerful large-scale vision-language pre-trained model and transfers it to a lightweight, task-specific PRVR network. Specifically, we introduce a Dual Learning framework with Dynamic Knowledge Distillation (DL-DKD++), where a large teacher model provides supervision to a compact dual-branch student network. The student model comprises two branches: an inheritance branch that absorbs transferable knowledge from the teacher, and an exploration branch that learns task-specific information from the PRVR dataset to address domain gaps. To further enhance learning, we incorporate a dynamic soft-target construction mechanism. By replacing rigid hard-target supervision with adaptive soft targets that evolve during training, our method enables the model to better capture the fine-grained, partial relevance between videos and queries. Experiment results demonstrate that our proposed model achieves state-of-the-art performance on TVR, ActivityNet, and Charades-STA datasets for PRVR. The code is available at https://github.com/HuiGuanLab/DL-DKD.
• Abstract（参考訳）: これまでのテキストとビデオの検索作業のほとんどは、ビデオがテキスト関連コンテンツのみを含む短い期間でプリトリミングされていることを前提にしている。 しかし実際には、ビデオは通常、より複雑な背景コンテンツによって、長い時間で切り離される。 そこで,本稿では,あるクエリで関連のない動画を検索することを目的とした,PRVR(Partially Relevant Video Retrieval)という,より実用的で困難なタスクに注目した。 そこで本研究では,大規模視覚言語事前学習モデルから一般化知識を抽出し,軽量なタスク固有PRVRネットワークに転送する手法を提案する。 具体的には、動的知識蒸留(DL-DKD++)を用いたデュアルラーニングフレームワークを導入する。 学生モデルは、教師からの伝達可能な知識を吸収する継承ブランチと、PRVRデータセットからタスク固有の情報を学び、ドメインギャップに対処する探索ブランチの2つから構成される。 学習をさらに強化するため,動的ソフトターゲット構築機構を取り入れた。 厳密なハードターゲット監視を、トレーニング中に進化する適応的ソフトターゲットに置き換えることで、ビデオとクエリ間の微細な部分的関連性をよりよく捉えることができる。 実験の結果,提案手法は,PRVRのためのTVR,ActivityNet,Charades-STAデータセット上での最先端性能を実現する。 コードはhttps://github.com/HuiGuanLab/DL-DKDで入手できる。

関連論文リスト

• Unsupervised Video Continual Learning via Non-Parametric Deep Embedded Clustering [47.53991869205973]
  本研究では,タスクの連続学習において,タスク境界もラベルも提供されない,教師なしのビデオ学習のための現実的なシナリオを提案する。 また、教師なしビデオ連続学習の未探索問題に対する非パラメトリック学習ソリューションも提供する。
  論文  参考訳（メタデータ） (2025-08-29T16:49:03Z)
• Perception Encoder: The best visual embeddings are not at the output of the network [70.86738083862099]
  本稿では、単純な視覚言語学習によって訓練された画像と映像の理解のための視覚エンコーダであるPerception (PE)を紹介する。 対照的な視覚言語学習だけでは、これらの下流タスクに強力な汎用的な埋め込みを実現できることが分かっています。 PEモデル群は,多種多様なタスクにおいて,クラス内で最高の結果が得られる。
  論文  参考訳（メタデータ） (2025-04-17T17:59:57Z)
• VideoWorld: Exploring Knowledge Learning from Unlabeled Videos [119.35107657321902]
  この研究は、深層生成モデルが視覚入力のみから複雑な知識を学習できるかどうかを考察する。 我々は、未ラベルのビデオデータに基づいて訓練された自動回帰ビデオ生成モデルであるVideoWorldを開発し、ビデオベースのGoとロボット制御タスクにおける知識獲得能力をテストする。
  論文  参考訳（メタデータ） (2025-01-16T18:59:10Z)
• Learning from One Continuous Video Stream [70.30084026960819]
  1つの連続ビデオストリームからオンライン学習のためのフレームワークを導入する。 連続するビデオフレーム間の高い相関を考えると、これは大きな課題となる。 プリトレーニングとシングルストリーム評価を切り替える実用的で柔軟な方法として,ピクセル・ツー・ピクセル・モデリングを採用している。
  論文  参考訳（メタデータ） (2023-12-01T14:03:30Z)
• VLG: General Video Recognition with Web Textual Knowledge [47.3660792813967]
  我々は、統合されたフレームワーク内で異なる認識タスクを解くための一般的なビデオ認識(GVR)問題に焦点を当てる。 インターネットからクロールされたノイズの多いテキスト記述から意味知識を活用することで、統合視覚言語フレームワーク(VLG)を提案する。 我々のVLGは、まずビデオと言語データセットで事前訓練され、共有機能空間を学習し、それからフレキシブルなバイモーダルなアテンションヘッドを考案し、異なる設定下でハイレベルなセマンティックな概念を協調します。
  論文  参考訳（メタデータ） (2022-12-03T15:46:49Z)
• Enabling Weakly-Supervised Temporal Action Localization from On-Device Learning of the Video Stream [5.215681853828831]
  長編未編集のストリーミングビデオから学習するための効率的なビデオ学習手法を提案する。 私たちの知る限りでは、オンデバイスで長いビデオストリームから直接学習する最初の試みです。
  論文  参考訳（メタデータ） (2022-08-25T13:41:03Z)
• Self-Supervised Video Representation Learning with Motion-Contrastive Perception [13.860736711747284]
  モーションコントラスト知覚ネットワーク(MCPNet) MCPNetは、MIP(Motion Information Perception)とCIP(Contrastive Instance Perception)の2つのブランチから構成される。 本手法は,現在最先端の視覚のみによる自己監督手法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-10T05:34:46Z)
• Reading-strategy Inspired Visual Representation Learning for Text-to-Video Retrieval [41.420760047617506]
  クロスモーダル表現学習は、ビデオと文の両方を、意味的類似性のための共通空間に計画する。 人間の読み方から着想を得た映像表現学習(RIVRL)を提案する。 我々のモデル RIVRL は TGIF と VATEX の新たな最先端を実現する。
  論文  参考訳（メタデータ） (2022-01-23T03:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。