論文の概要: Visual Relationship Forecasting in Videos

• arxiv url: http://arxiv.org/abs/2107.01181v1
• Date: Fri, 2 Jul 2021 16:43:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-05 13:04:51.832610
• Title: Visual Relationship Forecasting in Videos
• Title（参考訳）: 映像における視覚関係予測
• Authors: Li Mi, Yangjun Ou, Zhenzhong Chen
• Abstract要約: 本稿では,視覚関係予測(Visual Relation Forecasting:VRF)というタスクをビデオに提示する。 Hフレームと対象オブジェクトのペアを与えられたVRFは、視覚的な証拠なしに次のTフレームに対する将来の相互作用を予測することを目的としている。 VRFタスクを評価するために,VRF-AGとVRF-VidORという2つのビデオデータセットを導入する。
• 参考スコア（独自算出の注目度）: 56.122037294234865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world scenarios often require the anticipation of object interactions in unknown future, which would assist the decision-making process of both humans and agents. To meet this challenge, we present a new task named Visual Relationship Forecasting (VRF) in videos to explore the prediction of visual relationships in a reasoning manner. Specifically, given a subject-object pair with H existing frames, VRF aims to predict their future interactions for the next T frames without visual evidence. To evaluate the VRF task, we introduce two video datasets named VRF-AG and VRF-VidOR, with a series of spatio-temporally localized visual relation annotations in a video. These two datasets densely annotate 13 and 35 visual relationships in 1923 and 13447 video clips, respectively. In addition, we present a novel Graph Convolutional Transformer (GCT) framework, which captures both object-level and frame-level dependencies by spatio-temporal Graph Convolution Network and Transformer. Experimental results on both VRF-AG and VRF-VidOR datasets demonstrate that GCT outperforms the state-of-the-art sequence modelling methods on visual relationship forecasting.
• Abstract（参考訳）: 現実世界のシナリオは、しばしば未知の未来のオブジェクトインタラクションの予測を必要とし、人間とエージェントの両方の意思決定プロセスを支援する。 この課題に対処するため,視覚関係予測(Visual Relation Forecasting:VRF)というタスクをビデオに提示し,視覚関係の予測を推論的に検討する。 具体的には、Hフレームと対象オブジェクトのペアが与えられた場合、VRFは視覚的証拠なしで次のTフレームに対する将来の相互作用を予測することを目的としている。 VRFタスクを評価するために,VRF-AGとVRF-VidORという2つのビデオデータセットを紹介した。 これらの2つのデータセットは、それぞれ1923年と13447年のビデオクリップで13と35の視覚関係を密に注釈している。 さらに、時空間グラフ畳み込みネットワークとトランスフォーマーによってオブジェクトレベルとフレームレベルの依存関係をキャプチャする新しいグラフ畳み込みトランスフォーマ(GCT)フレームワークを提案する。 VRF-AGデータセットとVRF-Vidorデータセットの両方の実験結果から、GCTは視覚関係予測における最先端のシーケンスモデリング手法よりも優れていることが示された。

関連論文リスト

• CYCLO: Cyclic Graph Transformer Approach to Multi-Object Relationship Modeling in Aerial Videos [9.807247838436489]
  本研究では,空中ビデオにおける多目的関係モデリングに焦点を当てた新しいAeroEyeデータセットを提案する。 本稿では,Cyclic Graph Transformer (CYCLO) アプローチを提案する。 また、提案手法により、固有巡回パターンでシーケンスを処理し、オブジェクト関係を正しい順序で処理することができる。
  論文  参考訳（メタデータ） (2024-06-03T06:24:55Z)
• Do Vision-Language Transformers Exhibit Visual Commonsense? An Empirical Study of VCR [51.72751335574947]
  Visual Commonsense Reasoning (VCR)は、視覚的なシーンに対する質問応答の背後にある説明的推論を要求する。 ベンチマークデータセットの進歩は、Vision-Language Transformers(VL Transformers)の最近の進歩に大きく起因している。 本稿では、VLトランスフォーマーは、VCRの鍵となる視覚的コモンセンスを示さないことを仮定する。
  論文  参考訳（メタデータ） (2024-05-27T08:26:58Z)
• Collaboratively Self-supervised Video Representation Learning for Action Recognition [58.195372471117615]
  我々は,行動認識に特化した協調的自己指導型ビデオ表現学習フレームワークを設計する。 提案手法は,UCF101およびHMDB51データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-01-15T10:42:04Z)
• Spatial-Temporal Transformer for Dynamic Scene Graph Generation [34.190733855032065]
  本研究では,(1)入力フレームを用いてフレーム内の視覚的関係を抽出する空間エンコーダと,(2)空間エンコーダの出力を入力とする時間デコーダの2つのコアモジュールからなるニューラルネットワークを提案する。 我々の方法はベンチマークデータセットAction Genome(AG)で検証されている。
  論文  参考訳（メタデータ） (2021-07-26T16:30:30Z)
• Unified Graph Structured Models for Video Understanding [93.72081456202672]
  リレーショナル・テンポラル関係を明示的にモデル化するメッセージパッシンググラフニューラルネットワークを提案する。 本手法は,シーン内の関連エンティティ間の関係をより効果的にモデル化できることを示す。
  論文  参考訳（メタデータ） (2021-03-29T14:37:35Z)
• Understanding Dynamic Scenes using Graph Convolution Networks [22.022759283770377]
  本稿では,移動カメラが捉えた時間順のフレーム列から道路車両の挙動をモデル化する新しい枠組みを提案する。 微調整に頼らずに複数のデータセットへの学習のシームレスな移行を示す。 このような振る舞い予測手法は,様々なナビゲーションタスクにおいて即時関連性を見出す。
  論文  参考訳（メタデータ） (2020-05-09T13:05:06Z)
• Fine-Grained Instance-Level Sketch-Based Video Retrieval [159.12935292432743]
  細粒度インスタンスレベルのスケッチベースビデオ検索(FG-SBVR)の新しいクロスモーダル検索問題を提案する。 スケッチベースの静止画像検索や粗いカテゴリレベルのビデオ検索と比較すると、視覚的外観と動きの両方を微粒なレベルで同時にマッチングする必要があるため、これはより困難である。 このモデルは,映像解析用に設計された既存の最先端モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-21T18:28:35Z)
• Zero-Shot Video Object Segmentation via Attentive Graph Neural Networks [150.5425122989146]
  本研究は、ゼロショットビデオオブジェクトセグメンテーション(ZVOS)のための新しい注意グラフニューラルネットワーク(AGNN)を提案する。 AGNNは、フレームをノードとして効率的に表現し、任意のフレームペア間の関係をエッジとして表現するために、完全に連結されたグラフを構築している。 3つのビデオセグメンテーションデータセットの実験結果は、AGNNがそれぞれのケースに新しい最先端を設定していることを示している。
  論文  参考訳（メタデータ） (2020-01-19T10:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。