論文の概要: Video sentence grounding with temporally global textual knowledge

• arxiv url: http://arxiv.org/abs/2404.13611v2
• Date: Sat, 1 Jun 2024 06:56:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 15:18:10.856541
• Title: Video sentence grounding with temporally global textual knowledge
• Title（参考訳）: 時間的大域的テキスト知識に基づくビデオ文の理解
• Authors: Cai Chen, Runzhong Zhang, Jianjun Gao, Kejun Wu, Kim-Hui Yap, Yi Wang,
• Abstract要約: 時間的な文の接地には、自然言語クエリによるビデオモーメントの検索が含まれる。 PIN(Pseudo-query Intermediary Network)を提案する。
• 参考スコア（独自算出の注目度）: 8.470363694067386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal sentence grounding involves the retrieval of a video moment with a natural language query. Many existing works directly incorporate the given video and temporally localized query for temporal grounding, overlooking the inherent domain gap between different modalities. In this paper, we utilize pseudo-query features containing extensive temporally global textual knowledge sourced from the same video-query pair, to enhance the bridging of domain gaps and attain a heightened level of similarity between multi-modal features. Specifically, we propose a Pseudo-query Intermediary Network (PIN) to achieve an improved alignment of visual and comprehensive pseudo-query features within the feature space through contrastive learning. Subsequently, we utilize learnable prompts to encapsulate the knowledge of pseudo-queries, propagating them into the textual encoder and multi-modal fusion module, further enhancing the feature alignment between visual and language for better temporal grounding. Extensive experiments conducted on the Charades-STA and ActivityNet-Captions datasets demonstrate the effectiveness of our method.
• Abstract（参考訳）: 時間的な文の接地には、自然言語クエリによるビデオモーメントの検索が含まれる。 既存の多くの研究は、与えられたビデオと時間的局所化クエリを直接組み込んで、異なるモダリティ間の固有のドメインギャップを見渡している。 本稿では,同じビデオクエリ対から得られた広範にグローバルなテキスト知識を含む擬似クエリ機能を用いて,ドメインギャップのブリッジ化を強化し,マルチモーダル特徴間の類似度を高める。 具体的には,PIN(Pseudo-query Intermediary Network)を提案する。 その後、学習可能なプロンプトを用いて擬似クエリの知識をカプセル化し、それらをテキストエンコーダとマルチモーダル融合モジュールに伝播させ、視覚と言語間の特徴的アライメントをさらに強化し、時間的グラウンドリングを改善する。 Charades-STAおよびActivityNet-Captionsデータセットで実施された大規模な実験により,本手法の有効性が示された。

関連論文リスト

• Video-Language Alignment via Spatio-Temporal Graph Transformer [26.109883502401885]
  ビデオ言語アライメントは、ビデオテキスト検索や質問応答など、下流の様々なアプリケーションに恩恵をもたらす重要なタスクである。 本研究では,ビデオ言語アライメント事前学習のための空間的・時間的文脈を均一に学習する新しい時空間グラフトランスフォーマモジュールを提案する。
  論文  参考訳（メタデータ） (2024-07-16T12:52:32Z)
• MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
  Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。 既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。 この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。 本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
  論文  参考訳（メタデータ） (2024-06-25T18:39:43Z)
• Hybrid-Learning Video Moment Retrieval across Multi-Domain Labels [34.88705952395676]
  ビデオモーメント検索(VMR)とは、与えられたテキストクエリ記述(文)により、未編集の生ビデオ中の視覚的時間モーメントを検索することである。 本稿では,知識伝達による問題解決のために,ハイブリッド学習ビデオモーメント検索という新しい手法を提案する。 本研究の目的は,弱層対象領域におけるモデル学習を改善するために,両領域間の共通知識を探索することである。
  論文  参考訳（メタデータ） (2024-06-03T21:14:53Z)
• Temporal Perceiving Video-Language Pre-training [112.1790287726804]
  本研究は、時間的・意味的な微粒なアライメントを可能にする、新しいテキスト-ビデオのローカライゼーション・プレテキストタスクを導入する。 具体的には、テキスト-ビデオのローカライゼーションは、テキスト記述が与えられたビデオの開始と終了の境界を予測するモーメント検索から成っている。 提案手法は,細粒度フレーム表現と単語表現を結合し,単一モードにおける異なるインスタンスの表現を暗黙的に区別する。
  論文  参考訳（メタデータ） (2023-01-18T12:15:47Z)
• Learning Commonsense-aware Moment-Text Alignment for Fast Video Temporal Grounding [78.71529237748018]
  自然言語クエリで記述された時間的ビデオセグメントを効果的かつ効率的にグラウンド化することは、視覚・言語分野において必須の能力である。 既存のほとんどのアプローチでは、接地性能を改善するために、厳密に設計されたクロスモーダルな相互作用モジュールを採用しています。 本稿では,コモンセンスの視覚とテキストの表現を補完的なコモンスペースに組み込んだ,コモンセンス対応のクロスモーダルアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-04T13:07:05Z)
• Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos [55.52369116870822]
  本稿では,ビデオにおける時間的言語ローカライゼーションの問題に対処することに焦点を当てる。 自然言語文で記述された瞬間の始点と終点を、未編集のビデオで識別することを目的としている。
  論文  参考訳（メタデータ） (2021-10-12T14:59:25Z)
• Language Guided Networks for Cross-modal Moment Retrieval [66.49445903955777]
  モーダルモーダルモーメント検索は、自然言語クエリによって記述された未編集ビデオから時間セグメントをローカライズすることを目的としている。 既存の手法は、ビデオや文の特徴を独立して抽出する。 本稿では,言語ガイドネットワーク(LGN, Language Guided Networks)について紹介する。
  論文  参考訳（メタデータ） (2020-06-18T12:08:40Z)
• Local-Global Video-Text Interactions for Temporal Grounding [77.5114709695216]
  本稿では,テキストクエリに関連するビデオの時間間隔を特定することを目的とした,テキスト間時間グラウンドリングの問題に対処する。 そこで本研究では,テキストクエリにおける意味句の中間レベルの特徴の集合を抽出する,新しい回帰モデルを用いてこの問題に対処する。 提案手法は,ローカルからグローバルへのコンテキスト情報を活用することにより,目標時間間隔を効果的に予測する。
  論文  参考訳（メタデータ） (2020-04-16T08:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。