論文の概要: Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning

• arxiv url: http://arxiv.org/abs/2003.00392v1
• Date: Sun, 1 Mar 2020 03:44:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 12:36:03.170847
• Title: Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning
• Title（参考訳）: 階層グラフ推論を用いた微細ビデオテキスト検索
• Authors: Shizhe Chen, Yida Zhao, Qin Jin, Qi Wu
• Abstract要約: ビデオとテキスト間のクロスモーダル検索は、Web上のビデオの急速な出現により、注目を集めている。 微細なビデオテキスト検索を改善するために,ビデオテキストマッチングをグローバル-ローカルレベルに分解する階層グラフ推論モデルを提案する。
• 参考スコア（独自算出の注目度）: 72.52804406378023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-modal retrieval between videos and texts has attracted growing attentions due to the rapid emergence of videos on the web. The current dominant approach for this problem is to learn a joint embedding space to measure cross-modal similarities. However, simple joint embeddings are insufficient to represent complicated visual and textual details, such as scenes, objects, actions and their compositions. To improve fine-grained video-text retrieval, we propose a Hierarchical Graph Reasoning (HGR) model, which decomposes video-text matching into global-to-local levels. To be specific, the model disentangles texts into hierarchical semantic graph including three levels of events, actions, entities and relationships across levels. Attention-based graph reasoning is utilized to generate hierarchical textual embeddings, which can guide the learning of diverse and hierarchical video representations. The HGR model aggregates matchings from different video-text levels to capture both global and local details. Experimental results on three video-text datasets demonstrate the advantages of our model. Such hierarchical decomposition also enables better generalization across datasets and improves the ability to distinguish fine-grained semantic differences.
• Abstract（参考訳）: ビデオとテキスト間のクロスモーダル検索は、Web上のビデオの急速な出現により、注目を集めている。 この問題に対する現在の支配的なアプローチは、クロスモーダル類似度を測定するための共同埋め込み空間を学ぶことである。 しかし、単純なジョイント埋め込みは、シーン、オブジェクト、アクション、それらの構成などの複雑な視覚およびテキストの詳細を表現するには不十分である。 微細なビデオテキスト検索を改善するために,ビデオテキストマッチングをグローバル-ローカルレベルに分解する階層グラフ推論(HGR)モデルを提案する。 具体的に言うと、モデルはテキストを階層的なセマンティックグラフに切り離し、3つのレベルのイベント、アクション、エンティティ、レベル間の関係を含む。 注意に基づくグラフ推論を用いて階層的なテキスト埋め込みを生成し、多様な階層的なビデオ表現の学習を導く。 HGRモデルは、異なるビデオテキストレベルのマッチングを集約し、グローバルとローカルの両方の詳細をキャプチャする。 3つのビデオテキストデータセットにおける実験結果から,このモデルの利点が示された。 このような階層的な分解は、データセット間のより良い一般化を可能にし、きめ細かいセマンティックな違いを識別する能力を向上させる。

関連論文リスト

• Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
  GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。 提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
  論文  参考訳（メタデータ） (2024-06-18T13:35:25Z)
• Text-Video Retrieval via Variational Multi-Modal Hypergraph Networks [25.96897989272303]
  テキストビデオ検索の主な障害は、クエリのテキストの性質とビデオコンテンツの視覚的豊かさとのセマンティックなギャップである。 本稿では,クエリチャンクを抽出して,特定の検索単位を記述するチャンクレベルのテキストビデオマッチングを提案する。 クェリの単語とビデオのフレーム間のn-ary相関モデルとしてチャンクレベルのマッチングを定式化する。
  論文  参考訳（メタデータ） (2024-01-06T09:38:55Z)
• GL-RG: Global-Local Representation Granularity for Video Captioning [52.56883051799501]
  ビデオキャプションのためのGL-RGフレームワーク,すなわちtextbfGlobal-textbfLocal textbfRepresentation textbfGranularityを提案する。 GL-RGは従来の取り組みに対して3つの利点を挙げている: 1) 異なるビデオ範囲から広範囲の視覚表現を明示的に活用して言語表現を改善する; 2) フレーム間の映像コンテンツの記述的粒度を得るために、リッチなセマンティック語彙を生成する新しいグローバルローカルエンコーダを考案する; 3) モデル学習をインクリメンタルに組織し、最適なキャプションを創出するインクリメンタルトレーニング戦略を開発する。
  論文  参考訳（メタデータ） (2022-05-22T02:00:09Z)
• Video as Conditional Graph Hierarchy for Multi-Granular Question Answering [80.94367625007352]
  ビデオはフレームシーケンスで表現されるが、視覚要素はシーケンシャルではなく、セマンティック空間において階層的である。 本稿では,異なる粒度の視覚的事実をレベルワイドに織り込む条件付きグラフ階層として,動画をモデル化することを提案する。
  論文  参考訳（メタデータ） (2021-12-12T10:35:19Z)
• Adaptive Hierarchical Graph Reasoning with Semantic Coherence for Video-and-Language Inference [81.50675020698662]
  Video-and-Language Inferenceは、最近提案された共同ビデオ・言語理解のタスクである。 本稿では,複雑な相互作用に関する映像の深い理解を実現する適応階層型グラフネットワークを提案する。 3つの階層から適応階層型グラフネットワークのセマンティックコヒーレンスを明示的に促進するためにセマンティックコヒーレンス学習を導入する。
  論文  参考訳（メタデータ） (2021-07-26T15:23:19Z)
• HANet: Hierarchical Alignment Networks for Video-Text Retrieval [15.91922397215452]
  ビデオテキスト検索は視覚言語理解において重要な課題である。 現在のほとんどの研究は、ビデオレベルの埋め込みとテキストレベルの埋め込みに基づいて、ビデオテキストの類似性を単純に測定している。 本稿では,階層型アライメントネットワーク(HANet)を提案する。
  論文  参考訳（メタデータ） (2021-07-26T09:28:50Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。