論文の概要: Exploiting Long-Term Dependencies for Generating Dynamic Scene Graphs

• arxiv url: http://arxiv.org/abs/2112.09828v1
• Date: Sat, 18 Dec 2021 03:02:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-21 16:17:26.455242
• Title: Exploiting Long-Term Dependencies for Generating Dynamic Scene Graphs
• Title（参考訳）: 動的シーングラフ生成における長期依存の活用
• Authors: Shengyu Feng, Subarna Tripathi, Hesham Mostafa, Marcel Nassar, Somdeb Majumdar
• Abstract要約: 動的シーングラフを効果的に生成するためには,長期的依存関係のキャプチャが鍵となることを示す。 実験の結果,動的シーングラフ検出変換器(DSG-DETR)は最先端の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 15.614710220461353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured video representation in the form of dynamic scene graphs is an effective tool for several video understanding tasks. Compared to the task of scene graph generation from images, dynamic scene graph generation is more challenging due to the temporal dynamics of the scene and the inherent temporal fluctuations of predictions. We show that capturing long-term dependencies is the key to effective generation of dynamic scene graphs. We present the detect-track-recognize paradigm by constructing consistent long-term object tracklets from a video, followed by transformers to capture the dynamics of objects and visual relations. Experimental results demonstrate that our Dynamic Scene Graph Detection Transformer (DSG-DETR) outperforms state-of-the-art methods by a significant margin on the benchmark dataset Action Genome. We also perform ablation studies and validate the effectiveness of each component of the proposed approach.
• Abstract（参考訳）: 動的シーングラフの形式での構造化ビデオ表現は、複数のビデオ理解タスクに有効なツールである。 画像からのシーングラフ生成のタスクと比較すると,シーンの時間的ダイナミクスと予測の固有時間的ゆらぎにより,動的シーングラフ生成はより困難である。 動的シーングラフを効果的に生成するための鍵は,長期依存の獲得である。 本稿では,ビデオから連続した長期オブジェクトトラックレットを構築し,オブジェクトのダイナミックスと視覚関係をキャプチャするトランスフォーマーを用いて検出トラック認識パラダイムを提案する。 実験の結果,我々の動的シーングラフ検出変換器(DSG-DETR)は,ベンチマークデータセットAction Genomeにおいて,最先端の手法よりも優れた性能を示した。 また, アブレーション研究を行い, 提案手法のそれぞれの成分の有効性を検証した。

関連論文リスト

• Understanding Long Videos via LLM-Powered Entity Relation Graphs [51.13422967711056]
  GraphVideoAgentは、ビデオシーケンスを通して視覚的エンティティ間の進化する関係をマップし、監視するフレームワークである。 当社の手法は,業界ベンチマークと比較した場合,顕著な効果を示す。
  論文  参考訳（メタデータ） (2025-01-27T10:57:24Z)
• Temporally Consistent Dynamic Scene Graphs: An End-to-End Approach for Action Tracklet Generation [1.6584112749108326]
  TCDSG、Temporally Consistent Dynamic Scene Graphsは、時間を通して対象と対象の関係を検出し、追跡し、リンクするエンドツーエンドのフレームワークである。 私たちの研究は、マルチフレームビデオ分析における新しい標準を設定し、監視、自律ナビゲーションなどにおける、高インパクトなアプリケーションのための新たな道を開く。
  論文  参考訳（メタデータ） (2024-12-03T20:19:20Z)
• Towards Unbiased and Robust Spatio-Temporal Scene Graph Generation and Anticipation [10.678727237318503]
  Imparは、カリキュラム学習と損失マスキングを利用してバイアス発生と予測モデリングを緩和する新しいトレーニングフレームワークである。 本稿では,STSGモデルの分散シフトに対する堅牢性を評価するために,Robust Spatio-Temporal Scene Graph GenerationとRobust Scene Graph Precipationという2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2024-11-20T06:15:28Z)
• Retrieval Augmented Generation for Dynamic Graph Modeling [15.09162213134372]
  動的グラフモデリングは、様々なアプリケーションで進化するパターンを分析するのに不可欠である。 既存のアプローチは、しばしばグラフニューラルネットワークと時間モジュールを統合するか、生成シーケンスタスクとして動的グラフモデリングを再定義する。 本稿では,動的グラフモデリング(RAG4DyG)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2024-08-26T09:23:35Z)
• TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
  TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。 提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。 我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
  論文  参考訳（メタデータ） (2024-01-06T06:26:49Z)
• Local-Global Information Interaction Debiasing for Dynamic Scene Graph Generation [51.92419880088668]
  マルチタスク学習に基づく新しいDynSGGモデルDynSGG-MTLを提案する。 長期的人間の行動は、大域的な制約に適合する複数のシーングラフを生成するためにモデルを監督し、尾の述語を学べないモデルを避ける。
  論文  参考訳（メタデータ） (2023-08-10T01:24:25Z)
• EasyDGL: Encode, Train and Interpret for Continuous-time Dynamic Graph Learning [92.71579608528907]
  本稿では,3つのモジュールから構成される使い勝手の良いパイプライン(EasyDGL)を設計することを目的とする。 EasyDGLは、進化するグラフデータからモデルが学習する周波数コンテンツの予測力を効果的に定量化することができる。
  論文  参考訳（メタデータ） (2023-03-22T06:35:08Z)
• Time-aware Dynamic Graph Embedding for Asynchronous Structural Evolution [60.695162101159134]
  既存の作業は、動的グラフを変更のシーケンスとして見るだけである。 動的グラフを接合時間に付随する時間的エッジシーケンスとして定式化する。 頂点とエッジのタイムパン 組み込みにはタイムアウェアなTransformerが提案されている。 vertexの動的接続と学習へのToEs。 頂点表現
  論文  参考訳（メタデータ） (2022-07-01T15:32:56Z)
• Efficient Dynamic Graph Representation Learning at Scale [66.62859857734104]
  本稿では,学習損失による時間依存性を選択的に表現し,計算の並列性を改善するための効率的な動的グラフ lEarning (EDGE) を提案する。 EDGEは、数百万のノードと数億の時間的イベントを持つ動的グラフにスケールでき、新しい最先端(SOTA)パフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2021-12-14T22:24:53Z)
• Spatial-Temporal Transformer for Dynamic Scene Graph Generation [34.190733855032065]
  本研究では,(1)入力フレームを用いてフレーム内の視覚的関係を抽出する空間エンコーダと,(2)空間エンコーダの出力を入力とする時間デコーダの2つのコアモジュールからなるニューラルネットワークを提案する。 我々の方法はベンチマークデータセットAction Genome(AG)で検証されている。
  論文  参考訳（メタデータ） (2021-07-26T16:30:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。