論文の概要: Towards Scene Graph Anticipation

• arxiv url: http://arxiv.org/abs/2403.04899v1
• Date: Thu, 7 Mar 2024 21:08:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 21:33:36.312986
• Title: Towards Scene Graph Anticipation
• Title（参考訳）: シーングラフ予測に向けて
• Authors: Rohith Peddi, Saksham Singh, Saurabh, Parag Singla, Vibhav Gogate
• Abstract要約: SGA(Scene Graph Precipation)の課題について紹介する。 我々は、オブジェクト間の将来のペアワイズ関係を予測するために、最先端のシーングラフ生成手法をベースラインとして適用する。 SceneSayerでは、オブジェクト中心の関係表現を利用して、観察されたビデオフレームを推論し、オブジェクト間の関係の進化をモデル化する。
• 参考スコア（独自算出の注目度）: 11.456629311638947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatio-temporal scene graphs represent interactions in a video by decomposing scenes into individual objects and their pair-wise temporal relationships. Long-term anticipation of the fine-grained pair-wise relationships between objects is a challenging problem. To this end, we introduce the task of Scene Graph Anticipation (SGA). We adapt state-of-the-art scene graph generation methods as baselines to anticipate future pair-wise relationships between objects and propose a novel approach SceneSayer. In SceneSayer, we leverage object-centric representations of relationships to reason about the observed video frames and model the evolution of relationships between objects. We take a continuous time perspective and model the latent dynamics of the evolution of object interactions using concepts of NeuralODE and NeuralSDE, respectively. We infer representations of future relationships by solving an Ordinary Differential Equation and a Stochastic Differential Equation, respectively. Extensive experimentation on the Action Genome dataset validates the efficacy of the proposed methods.
• Abstract（参考訳）: 時空間グラフは、シーンを個々のオブジェクトとペアの時間的関係に分解することで、ビデオ内の相互作用を表現する。 オブジェクト間の微粒なペアワイズ関係の長期予測は難しい問題である。 この目的のために,SGA(Scene Graph Precipation)の課題を紹介した。 現状のシーングラフ生成手法をベースラインとして,オブジェクト間のペア関係を予測し,新しいアプローチSceneSayerを提案する。 SceneSayerでは、オブジェクト中心の関係表現を利用して、観察されたビデオフレームを推論し、オブジェクト間の関係の進化をモデル化する。 我々は,neuralodeとneuralsdeの概念を用いて,オブジェクトインタラクションの進化の潜在ダイナミクスを連続時間視点でモデル化する。 通常の微分方程式と確率微分方程式をそれぞれ解いて将来の関係の表現を推測する。 行動ゲノムデータセットの広範な実験により,提案手法の有効性が検証された。

関連論文リスト

• Semantic Scene Graph Generation Based on an Edge Dual Scene Graph and Message Passing Neural Network [3.9280441311534653]
  シーングラフ生成(SGG)は、画像内のオブジェクト間の関係をキャプチャし、構造化グラフベースの表現を生成する。 既存のSGG法は、詳細な関係を正確に予測する能力に制限がある。 本稿では,エッジデュアルシーングラフ生成(EdgeSGG)と呼ばれるマルチオブジェクト関係のモデリング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-02T12:36:52Z)
• Local-Global Information Interaction Debiasing for Dynamic Scene Graph Generation [51.92419880088668]
  マルチタスク学習に基づく新しいDynSGGモデルDynSGG-MTLを提案する。 長期的人間の行動は、大域的な制約に適合する複数のシーングラフを生成するためにモデルを監督し、尾の述語を学べないモデルを避ける。
  論文  参考訳（メタデータ） (2023-08-10T01:24:25Z)
• Cross-Modality Time-Variant Relation Learning for Generating Dynamic Scene Graphs [16.760066844287046]
  動的シーングラフにおける関係の時間的変化をモデル化するために,時間変動型関係対応TRansformer (TR$2$)を提案する。 TR$2$は2つの異なる設定下で従来の最先端メソッドよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-15T10:30:38Z)
• Spatio-Temporal Joint Graph Convolutional Networks for Traffic Forecasting [75.10017445699532]
  近年、時間グラフモデリング問題として交通予測の定式化に焦点が移っている。 本稿では,道路網における交通予測の精度向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-25T08:45:14Z)
• Spatio-Temporal Interaction Graph Parsing Networks for Human-Object Interaction Recognition [55.7731053128204]
  ビデオに基づくヒューマンオブジェクトインタラクションシーンでは、人間とオブジェクトの時間的関係をモデル化することが、ビデオに提示されるコンテキスト情報を理解するための重要な手がかりである。 実効時間関係モデリングでは、各フレームの文脈情報を明らかにするだけでなく、時間間の依存関係を直接キャプチャすることもできる。 外観特徴、空間的位置、意味情報のフル活用は、ビデオベースのヒューマンオブジェクトインタラクション認識性能を改善する鍵でもある。
  論文  参考訳（メタデータ） (2021-08-19T11:57:27Z)
• Unified Graph Structured Models for Video Understanding [93.72081456202672]
  リレーショナル・テンポラル関係を明示的にモデル化するメッセージパッシンググラフニューラルネットワークを提案する。 本手法は,シーン内の関連エンティティ間の関係をより効果的にモデル化できることを示す。
  論文  参考訳（メタデータ） (2021-03-29T14:37:35Z)
• Learning Temporal Dynamics from Cycles in Narrated Video [85.89096034281694]
  時が経つにつれて世界がどのように変化するかをモデル化する学習問題に対する自己監督型ソリューションを提案します。 私たちのモデルは、前方および後方の時間を予測するためにモダリティに依存しない関数を学習します。 将来的な動作の予測や画像の時間的順序付けなど,様々なタスクに対して,学習されたダイナミクスモデルを適用する。
  論文  参考訳（メタデータ） (2021-01-07T02:41:32Z)
• DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
  人-物間相互作用(HOI)検出の課題に対処する。 既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。 本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:40Z)
• Jointly Modeling Aspect and Sentiment with Dynamic Heterogeneous Graph Neural Networks [27.59070337052869]
  対象に基づく感性分析は、意見の側面(視点抽出)と感情の極性(感情検出)を検出することを目的としている。 以前のパイプラインと統合されたメソッドはどちらも、これらの2つの目的の間の自然的接続を正確にモデル化することができない。 本稿では,2つの目的を明示的な方法で共同でモデル化する新しい動的不均一グラフを提案する。
  論文  参考訳（メタデータ） (2020-04-14T11:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。