論文の概要: Exploiting Visual Semantic Reasoning for Video-Text Retrieval

• arxiv url: http://arxiv.org/abs/2006.08889v1
• Date: Tue, 16 Jun 2020 02:56:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 21:05:51.842770
• Title: Exploiting Visual Semantic Reasoning for Video-Text Retrieval
• Title（参考訳）: ビデオテキスト検索のための視覚的セマンティック推論
• Authors: Zerun Feng, Zhimin Zeng, Caili Guo, Zheng Li
• Abstract要約: フレーム領域間の推論を利用するビジュアルセマンティック拡張推論ネットワーク(ViSERN)を提案する。 ランダムウォークルールに基づくグラフ畳み込みネットワークによる推論を行い、意味的関係に関わる領域の特徴を生成する。 推論の利点により、領域間の意味的相互作用が考慮され、冗長性の影響が抑制される。
• 参考スコア（独自算出の注目度）: 14.466809435818984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video retrieval is a challenging research topic bridging the vision and language areas and has attracted broad attention in recent years. Previous works have been devoted to representing videos by directly encoding from frame-level features. In fact, videos consist of various and abundant semantic relations to which existing methods pay less attention. To address this issue, we propose a Visual Semantic Enhanced Reasoning Network (ViSERN) to exploit reasoning between frame regions. Specifically, we consider frame regions as vertices and construct a fully-connected semantic correlation graph. Then, we perform reasoning by novel random walk rule-based graph convolutional networks to generate region features involved with semantic relations. With the benefit of reasoning, semantic interactions between regions are considered, while the impact of redundancy is suppressed. Finally, the region features are aggregated to form frame-level features for further encoding to measure video-text similarity. Extensive experiments on two public benchmark datasets validate the effectiveness of our method by achieving state-of-the-art performance due to the powerful semantic reasoning.
• Abstract（参考訳）: 映像検索は、視覚と言語領域を橋渡しする挑戦的な研究課題であり、近年広く注目を集めている。 それまでの作品は、フレームレベルの特徴から直接エンコードすることで、ビデオの表現に費やされてきた。 実際、ビデオは、既存の方法があまり注意を払わない様々な、豊富な意味関係で構成されている。 この問題に対処するために、フレーム領域間の推論を利用するビジュアルセマンティック拡張推論ネットワーク(ViSERN)を提案する。 具体的には、フレーム領域を頂点として、完全連結意味相関グラフを構築する。 次に,新しいランダムウォークルールに基づくグラフ畳み込みネットワークによる推論を行い,意味関係に関わる領域特徴を生成する。 推論の利点により、領域間の意味的相互作用が考慮され、冗長性の影響が抑制される。 最後に、領域の特徴を集約してフレームレベルの特徴を形成し、さらにエンコーディングしてビデオテキストの類似度を測定する。 2つの公開ベンチマークデータセットの大規模な実験は、強力なセマンティック推論により最先端の性能を達成し、本手法の有効性を検証した。

関連論文リスト

• Jointly Visual- and Semantic-Aware Graph Memory Networks for Temporal Sentence Localization in Videos [67.12603318660689]
  階層型ビジュアル・セマンティック・アウェア推論ネットワーク(HVSARN)を提案する。 HVSARNは、オブジェクトレベルからフレームレベルへの視覚的および意味論的クエリ推論を可能にする。 3つのデータセットの実験では、HVSARNが新しい最先端のパフォーマンスを達成することが示されています。
  論文  参考訳（メタデータ） (2023-03-02T08:00:22Z)
• Correspondence Matters for Video Referring Expression Comprehension [64.60046797561455]
  ビデオ参照表現(REC)は、文章に記述された参照オブジェクトをビデオフレーム内の視覚領域にローカライズすることを目的としている。 既存の手法では,1)ビデオフレーム間の非一貫性な局所化結果,2)参照オブジェクトとコンテキストオブジェクトの混同という2つの問題に悩まされている。 本稿では、フレーム間およびクロスモーダルの両方で密接な関連性を明確に強化する新しいデュアル対応ネットワーク(DCNet)を提案する。
  論文  参考訳（メタデータ） (2022-07-21T10:31:39Z)
• Video-Text Pre-training with Learned Regions [59.30893505895156]
  Video-Textプレトレーニングは、大規模なビデオテキストペアから転送可能な表現を学ぶことを目的としている。 本研究では,大規模ビデオテキストペアの事前学習において,対象物の構造を考慮に入れたビデオテキスト学習用モジュール「RereaLearner」を提案する。
  論文  参考訳（メタデータ） (2021-12-02T13:06:53Z)
• Visual Spatio-temporal Relation-enhanced Network for Cross-modal Text-Video Retrieval [17.443195531553474]
  テキストとビデオのクロスモーダル検索は、視覚と言語との対応を理解することを目的としている。 本稿では,時間横断検索フレームワークであるVisual S-temporal Relation-enhanced semantic network (CNN-SRNet)を提案する。 MSR-VTTおよびMSVDデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-10-29T08:23:40Z)
• Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos [55.52369116870822]
  本稿では,ビデオにおける時間的言語ローカライゼーションの問題に対処することに焦点を当てる。 自然言語文で記述された瞬間の始点と終点を、未編集のビデオで識別することを目的としている。
  論文  参考訳（メタデータ） (2021-10-12T14:59:25Z)
• Exploring Explicit and Implicit Visual Relationships for Image Captioning [11.82805641934772]
  本稿では,画像キャプションのための領域レベルの表現を豊かにするために,明示的かつ暗黙的な視覚関係を探索する。 具体的には、オブジェクトペア上にセマンティックグラフを構築し、ゲートグラフ畳み込みネットワーク(Gated GCN)を利用して、近隣住民の情報を選択的に集約する。 暗黙的に、我々は変圧器から領域ベースの双方向エンコーダ表現を介して検出されたオブジェクト間のグローバルな相互作用を描画する。
  論文  参考訳（メタデータ） (2021-05-06T01:47:51Z)
• GINet: Graph Interaction Network for Scene Parsing [58.394591509215005]
  画像領域に対する文脈推論を促進するために,グラフインタラクションユニット(GIユニット)とセマンティックコンテキストロス(SC-loss)を提案する。 提案されたGINetは、Pascal-ContextやCOCO Stuffなど、一般的なベンチマークにおける最先端のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2020-09-14T02:52:45Z)
• Fine-grained Iterative Attention Network for TemporalLanguage Localization in Videos [63.94898634140878]
  ビデオ中の時間的言語ローカライゼーションは、与えられた文クエリに基づいて、ビデオセグメントの1つを未トリミングビデオにグラウンドすることを目的としている。 本稿では,2つのクエリ・ビデオ・インフォーム抽出のための反復的注意モジュールからなる細粒度反復注意ネットワーク(FIAN)を提案する。 本稿では,Ac-tivityNet Captions,TACoS,Charades-STAの3つのベンチマークで提案手法を評価した。
  論文  参考訳（メタデータ） (2020-08-06T04:09:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。