論文の概要: PHA-Net: Prototype-based Hierarchical Alignment Network for Text-Video Retrieval

• arxiv url: http://arxiv.org/abs/2608.00551v1
• Date: Sat, 01 Aug 2026 09:08:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.769264
• Title: PHA-Net: Prototype-based Hierarchical Alignment Network for Text-Video Retrieval
• Title（参考訳）: PHA-Net:テキストビデオ検索のためのプロトタイプベース階層アライメントネットワーク
• Abstract要約: 既存の最高のパフォーマンスの手法は、個々の、局所的、グローバルなレベルで相互に意味論を同時に整合させることである。 標準的なアプローチは、複数の言語ビデオアテンションモジュールを階層的なフレームワークに統合することである。 個人/地域/グローバルレベルの表現を協調するプロトタイプベースの階層型アライメントネットワーク(PHA-Net)を提案する。
• 参考スコア（独自算出の注目度）: 5.374224914150371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the emergence of large-scale image-text pre-training models, e.g., CLIP, text-video retrieval has experienced substantial advances in recent years. Existing best-performing methods involve aligning cross-modal semantics at individual, local, and global levels simultaneously, raising concerns about the intrinsic semantic mismatch between concise texts and rich videos. A canonical approach is to integrate multiple language-video attention modules into the hierarchical framework while this paradigm only optimizes visual representations with prohibitive computational costs. In this paper, we propose a new prototype-based hierarchical alignment network (PHA-Net) to align individual/local/global level representations across modalities. Concretely, we introduce multiple modality-shared prototypes as the bridge to efficiently optimize text and video representations for cross-modal alignment. Then, we argue that the imbalanced semantic distribution in clustered tokens may undermine retrieval performance, as tokens with weak semantics are of little interest. To reduce the impact of these tokens, a proposed prototype-supported token merge module is responsible for enhancing tokens with strong semantics and suppressing others with weak semantics via prototype semantics guidance. Moreover, we devise a prototype contrastive loss to encourage textual and visual prototypes to focus on different semantic information. The idea of this auxiliary loss is to ensure higher similarity between textual and visual prototypes from the same prototype than those from different prototypes. Extensive experiments on four benchmarks confirm the effectiveness of our PHA-Net, which achieves significant improvements in the sum of all recalls on MSR-VTT (8.8%), ActivityNet (19.2%), VATEX (0.7%), and Charades (4.9%). Code is available at https://github.com/JingXiaolun/PHA-Net.
• Abstract（参考訳）: 大規模画像テキスト事前学習モデル(例えばCLIP)の出現に伴い,近年,テキストビデオ検索が大幅に進歩している。 既存の最高のパフォーマンスの手法は、個人、地域、グローバルレベルでの相互意味論を同時に調整することであり、簡潔なテキストとリッチビデオ間の本質的な意味的ミスマッチに対する懸念を提起する。 標準的なアプローチは、複数の言語ビデオアテンションモジュールを階層的なフレームワークに統合することであり、このパラダイムは計算コストを抑えることで視覚表現を最適化するだけである。 そこで本稿では,PHA-Netのプロトタイプに基づく階層型アライメントネットワークを提案する。 具体的には,複数のモダリティ共有型プロトタイプを橋梁として導入し,テキストとビデオの表現を効果的に最適化し,クロスモーダルアライメントを実現する。 そして,クラスタ化トークンにおける不均衡なセマンティック分布は,弱いセマンティクスを持つトークンがほとんど興味を示さないため,検索性能を損なう可能性があると論じる。 これらのトークンの影響を低減するため、プロトタイプをサポートするトークンマージモジュールは、強力なセマンティクスを持つトークンの強化と、プロトタイプセマンティクスガイダンスを通じて弱いセマンティクスを持つトークンの抑制を担っている。 さらに、テキストと視覚のプロトタイプを異なる意味情報に集中させるために、対照的な損失のプロトタイプを考案する。 この補助的な損失の考え方は、異なるプロトタイプのプロトタイプよりも、同じプロトタイプのテキストと視覚のプロトタイプとの類似性を高めることである。 PHA-Netは、MSR-VTT (8.8%)、ActivityNet (19.2%)、VATEX (0.7%)、Charades (4.9%)のリコールの総和を大幅に改善する。 コードはhttps://github.com/JingXiaolun/PHA-Netで入手できる。

関連論文リスト

• Hunting Attributes: Context Prototype-Aware Learning for Weakly Supervised Semantic Segmentation [22.591512454923883]
  我々は、インスタンスとコンテキスト間の知識バイアスが、インスタンスのセマンティクスを十分に理解するプロトタイプの能力に影響を与えると主張している。 プロトタイプ学習理論に触発された本研究では,インスタンスの多種多様かつきめ細かな特徴を捉えるために,プロトタイプ認識を活用することを提案する。 本稿では,コンテキスト型認識学習(CPAL:Context Prototype-Aware Learning)戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-12T13:11:58Z)
• Uncovering Prototypical Knowledge for Weakly Open-Vocabulary Semantic Segmentation [59.37587762543934]
  本稿では,弱開語彙セマンティックセマンティックセグメンテーション(WOVSS)の問題点について検討する。 既存の方法は、グループトークンの使用に関する粒度の矛盾に悩まされる。 マルチモーダル正規化を組み込んだプロトタイプ誘導ネットワーク(PGSeg)を提案する。
  論文  参考訳（メタデータ） (2023-10-29T13:18:00Z)
• Multi-Modal Prototypes for Open-World Semantic Segmentation [37.84805778548119]
  セマンティックセグメンテーションをより包括的にサポートするために,テキストおよび視覚的手がかりを多モーダルプロトタイプとして包含することを提案する。 我々は,高レベル言語情報を多視点プロトタイプとして分解し,低レベル視覚情報をより意味のあるプロトタイプとして集約する。 弾性マスク予測モジュールに基づいて、ゼロショット、少数ショット、一般化されたタスクを1つのアーキテクチャで解くことができる。
  論文  参考訳（メタデータ） (2023-07-05T03:27:31Z)
• Prototype-based Embedding Network for Scene Graph Generation [105.97836135784794]
  現在のシーングラフ生成(SGG)手法は、コンテキスト情報を探索し、エンティティペア間の関係を予測する。 被写体と対象物の組み合わせが多様であるため、各述語カテゴリーには大きなクラス内変異が存在する。 プロトタイプベースのEmbedding Network (PE-Net) は、エンティティ/述語を、プロトタイプに準拠したコンパクトで独特な表現でモデル化する。 PLは、PE-Netがそのようなエンティティ述語マッチングを効率的に学習するのを助けるために導入され、不明瞭なエンティティ述語マッチングを緩和するためにプロトタイプ正規化(PR)が考案されている。
  論文  参考訳（メタデータ） (2023-03-13T13:30:59Z)
• Progressive Tree-Structured Prototype Network for End-to-End Image Captioning [74.8547752611337]
  本稿では,新しいプログレッシブツリー構造型プロトタイプネットワーク(PTSN)を提案する。 PTSNは、階層的テキスト意味論をモデル化することによって、適切な意味論で予測語の範囲を狭める最初の試みである。 提案手法は,144.2%(シングルモデル),146.5%(4モデルのアンサンブル),141.4%(c5),143.9%(c40)のCIDErを公式オンラインテストサーバ上でスコアする。
  論文  参考訳（メタデータ） (2022-11-17T11:04:00Z)
• TokenFlow: Rethinking Fine-grained Cross-modal Alignment in Vision-Language Retrieval [30.429340065755436]
  我々は, 細粒度クロスモーダルアライメントのためのモデルに依存しない新しい定式化を考案した。 最適輸送理論に着想を得て,提案手法のインスタンス化であるemphTokenFlowを紹介した。
  論文  参考訳（メタデータ） (2022-09-28T04:11:05Z)
• Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
  学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。 我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。 この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
  論文  参考訳（メタデータ） (2022-03-28T21:15:32Z)
• APANet: Adaptive Prototypes Alignment Network for Few-Shot Semantic Segmentation [56.387647750094466]
  Few-shotのセマンティックセマンティックセマンティクスは、指定されたクエリイメージに、ラベル付きサポートイメージのみで、新規クラスのオブジェクトをセグメントすることを目的としている。 ほとんどの高度なソリューションは、各クエリ機能を学習したクラス固有のプロトタイプにマッチさせることでセグメンテーションを実行するメトリクス学習フレームワークを利用している。 本稿では,クラス固有およびクラス非依存のプロトタイプを導入することで,適応型プロトタイプ表現を提案する。
  論文  参考訳（メタデータ） (2021-11-24T04:38:37Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。