論文の概要: Jointly Visual- and Semantic-Aware Graph Memory Networks for Temporal Sentence Localization in Videos

• arxiv url: http://arxiv.org/abs/2303.01046v1
• Date: Thu, 2 Mar 2023 08:00:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 15:34:55.991172
• Title: Jointly Visual- and Semantic-Aware Graph Memory Networks for Temporal Sentence Localization in Videos
• Title（参考訳）: 映像における時間的文定位のための視覚・意味認識グラフメモリネットワーク
• Authors: Daizong Liu, Pan Zhou
• Abstract要約: 階層型ビジュアル・セマンティック・アウェア推論ネットワーク(HVSARN)を提案する。 HVSARNは、オブジェクトレベルからフレームレベルへの視覚的および意味論的クエリ推論を可能にする。 3つのデータセットの実験では、HVSARNが新しい最先端のパフォーマンスを達成することが示されています。
• 参考スコア（独自算出の注目度）: 67.12603318660689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal sentence localization in videos (TSLV) aims to retrieve the most interested segment in an untrimmed video according to a given sentence query. However, almost of existing TSLV approaches suffer from the same limitations: (1) They only focus on either frame-level or object-level visual representation learning and corresponding correlation reasoning, but fail to integrate them both; (2) They neglect to leverage the rich semantic contexts to further benefit the query reasoning. To address these issues, in this paper, we propose a novel Hierarchical Visual- and Semantic-Aware Reasoning Network (HVSARN), which enables both visual- and semantic-aware query reasoning from object-level to frame-level. Specifically, we present a new graph memory mechanism to perform visual-semantic query reasoning: For visual reasoning, we design a visual graph memory to leverage visual information of video; For semantic reasoning, a semantic graph memory is also introduced to explicitly leverage semantic knowledge contained in the classes and attributes of video objects, and perform correlation reasoning in the semantic space. Experiments on three datasets demonstrate that our HVSARN achieves a new state-of-the-art performance.
• Abstract（参考訳）: tslv(temporal sentence localization in videos)は、与えられた文クエリに従って、未トリミングビデオの最も興味のあるセグメントを検索することを目的としている。 しかし、既存のtslvアプローチのほとんどが、同じ制限に苦しんでいる:(1)フレームレベルまたはオブジェクトレベルの視覚的表現学習と対応する相関推論のみに焦点をあてるが、両方を統合することができない。 そこで本稿では,オブジェクトレベルからフレームレベルまでの視覚的・意味的問合せ推論を可能にする階層的ビジュアル・セマンティック・アウェア・推論ネットワーク(hvsarn)を提案する。 具体的には、視覚的推論のために、ビデオの視覚情報を活用する視覚グラフメモリを設計する;意味的推論には、ビデオオブジェクトのクラスや属性に含まれる意味的知識を明示的に活用し、セマンティック空間における相関推論を行う、セマンティックグラフメモリも導入する。 3つのデータセットの実験は、HVSARNが新しい最先端のパフォーマンスを達成することを示す。

関連論文リスト

• Zero-Shot Video Moment Retrieval from Frozen Vision-Language Models [58.17315970207874]
  モーメント・テキストアライメントを容易にするため、任意のVLMから一般化可能なビジュアル・テクスチャの事前適応のためのゼロショット手法を提案する。 3つのVMRベンチマークデータセットで実施された実験は、ゼロショットアルゴリズムの顕著なパフォーマンス上の利点を示している。
  論文  参考訳（メタデータ） (2023-09-01T13:06:50Z)
• Boosting Video-Text Retrieval with Explicit High-Level Semantics [115.66219386097295]
  VTRのための新しい視覚言語整合モデルHiSEを提案する。 明示的なハイレベルなセマンティクスを取り入れることで、クロスモーダル表現を改善する。 提案手法は,3つのベンチマークデータセット上での最先端手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-08-08T15:39:54Z)
• Consensus Graph Representation Learning for Better Grounded Image Captioning [48.208119537050166]
  本稿では,接地画像キャプションのためのConsensus Rraph Representation Learning framework(CGRL)を提案する。 Flickr30k Entitiesデータセットにおける対象幻覚(-9% CHAIRi)の顕著な減少とともに,本モデルの有効性を検証した。
  論文  参考訳（メタデータ） (2021-12-02T04:17:01Z)
• Discriminative Latent Semantic Graph for Video Captioning [24.15455227330031]
  ビデオキャプションは、あるビデオの視覚的内容を記述する自然言語文を自動的に生成することを目的としている。 我々の主な貢献は、将来のビデオ要約タスクのための統合フレームワークにおける3つの重要な問題を特定することである。
  論文  参考訳（メタデータ） (2021-08-08T15:11:20Z)
• Object-Centric Representation Learning for Video Question Answering [27.979053252431306]
  ビデオ回答(Video QA)は、人間のようなインテリジェントな行動のための強力なテストベッドを提供します。 このタスクは、処理、言語理解、抽象概念を具体的なビジュアルアーティファクトに結合する新しい機能を必要とする。 本稿では,映像をオブジェクトのリレーショナルグラフに変換するための新しいクエリ誘導表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-12T02:37:20Z)
• Exploiting Visual Semantic Reasoning for Video-Text Retrieval [14.466809435818984]
  フレーム領域間の推論を利用するビジュアルセマンティック拡張推論ネットワーク(ViSERN)を提案する。 ランダムウォークルールに基づくグラフ畳み込みネットワークによる推論を行い、意味的関係に関わる領域の特徴を生成する。 推論の利点により、領域間の意味的相互作用が考慮され、冗長性の影響が抑制される。
  論文  参考訳（メタデータ） (2020-06-16T02:56:46Z)
• Spatio-Temporal Graph for Video Captioning with Knowledge Distillation [50.034189314258356]
  空間と時間におけるオブジェクトの相互作用を利用したビデオキャプションのためのグラフモデルを提案する。 我々のモデルは解釈可能なリンクを構築し、明示的な視覚的グラウンドを提供することができる。 オブジェクト数の変動による相関を回避するため,オブジェクト認識型知識蒸留機構を提案する。
  論文  参考訳（メタデータ） (2020-03-31T03:58:11Z)
• Object Relational Graph with Teacher-Recommended Learning for Video Captioning [92.48299156867664]
  本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。 具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。 一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
  論文  参考訳（メタデータ） (2020-02-26T15:34:52Z)
• Weakly Supervised Visual Semantic Parsing [49.69377653925448]
  SGG(Scene Graph Generation)は、画像からエンティティ、述語、それらの意味構造を抽出することを目的としている。 既存のSGGメソッドでは、トレーニングのために何百万もの手動アノテーション付きバウンディングボックスが必要である。 本稿では,ビジュアルセマンティック・パーシング,VSPNet,グラフベースの弱教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-01-08T03:46:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。