論文の概要: Towards Unbiased and Robust Spatio-Temporal Scene Graph Generation and Anticipation

• arxiv url: http://arxiv.org/abs/2411.13059v2
• Date: Tue, 25 Mar 2025 02:19:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 20:14:20.530069
• Title: Towards Unbiased and Robust Spatio-Temporal Scene Graph Generation and Anticipation
• Title（参考訳）: 無バイアスかつロバストな時空間グラフ生成と予測に向けて
• Authors: Rohith Peddi, Saurabh, Ayush Abhay Shrivastava, Parag Singla, Vibhav Gogate,
• Abstract要約: 現実世界の視覚的関係はしばしば長い尾の分布を示し、既存の手法がバイアスのあるシーングラフを生成する。 損失マスキングとカリキュラム学習を利用してバイアス発生を緩和する新しいトレーニングフレームワークであるImparを提案する。 我々のカリキュラムによるマスク生成戦略は、バイアス緩和戦略を時間とともに適応的に調整し、よりバランスよく堅牢な推定を可能にします。
• 参考スコア（独自算出の注目度）: 10.678727237318503
• License:
• Abstract: Spatio-Temporal Scene Graphs (STSGs) provide a concise and expressive representation of dynamic scenes by modeling objects and their evolving relationships over time. However, real-world visual relationships often exhibit a long-tailed distribution, causing existing methods for tasks like Video Scene Graph Generation (VidSGG) and Scene Graph Anticipation (SGA) to produce biased scene graphs. To this end, we propose ImparTail, a novel training framework that leverages loss masking and curriculum learning to mitigate bias in the generation and anticipation of spatio-temporal scene graphs. Unlike prior methods that add extra architectural components to learn unbiased estimators, we propose an impartial training objective that reduces the dominance of head classes during learning and focuses on underrepresented tail relationships. Our curriculum-driven mask generation strategy further empowers the model to adaptively adjust its bias mitigation strategy over time, enabling more balanced and robust estimations. To thoroughly assess performance under various distribution shifts, we also introduce two new tasks Robust Spatio-Temporal Scene Graph Generation and Robust Scene Graph Anticipation offering a challenging benchmark for evaluating the resilience of STSG models. Extensive experiments on the Action Genome dataset demonstrate the superior unbiased performance and robustness of our method compared to existing baselines.
• Abstract（参考訳）: Spatio-Temporal Scene Graphs (STSG) は、オブジェクトとその時間とともに進化していく関係をモデル化することによって、動的シーンの簡潔で表現的な表現を提供する。 しかし、現実世界の視覚的関係はしばしば長い尾の分布を示しており、ビデオシーングラフ生成(VidSGG)やシーングラフ予測(SGA)といったタスクの既存の手法でバイアスのあるシーングラフを生成する。 この目的のために、ロスマスキングとカリキュラム学習を活用して、時空間グラフの生成と予測におけるバイアスを軽減する新しいトレーニングフレームワークであるImparTailを提案する。 非バイアス推定器の学習に余分なアーキテクチャ要素を加える従来の手法とは異なり、学習中のヘッドクラスの優位性を減らし、表現不足の尾関係に焦点を当てた公平な学習目標を提案する。 我々のカリキュラムによるマスク生成戦略は、バイアス緩和戦略を時間とともに適応的に調整し、よりバランスよく堅牢な推定を可能にします。 様々な分散シフト下での性能を徹底的に評価するために、STSGモデルのレジリエンスを評価する上で難しいベンチマークを提供するRobust Spatio-Temporal Scene Graph GenerationとRobust Scene Graph Precipationの2つの新しいタスクを導入する。 Action Genomeデータセットの大規模な実験は、既存のベースラインと比較して、我々の手法の非バイアス性能とロバスト性に優れていることを示した。

関連論文リスト

• Joint Generative Modeling of Scene Graphs and Images via Diffusion Models [37.788957749123725]
  共同シーングラフ - 画像生成という,新しい生成タスクを提案する。 本稿では,隣接行列と不均一なノードとエッジ属性を併用した新しい拡散モデルDiffuseSGを提案する。 グラフ変換器をデノイザとし、DiffuseSGは連続空間におけるシーングラフ表現を連続的にデノイズし、最終表現を識別してクリーンなシーングラフを生成する。
  論文  参考訳（メタデータ） (2024-01-02T10:10:29Z)
• Local-Global Information Interaction Debiasing for Dynamic Scene Graph Generation [51.92419880088668]
  マルチタスク学習に基づく新しいDynSGGモデルDynSGG-MTLを提案する。 長期的人間の行動は、大域的な制約に適合する複数のシーングラフを生成するためにモデルを監督し、尾の述語を学べないモデルを避ける。
  論文  参考訳（メタデータ） (2023-08-10T01:24:25Z)
• Spatial-Temporal Graph Learning with Adversarial Contrastive Adaptation [19.419836274690816]
  効率的な自己教師型学習を実現するための空間時空間グラフ学習モデル(GraphST)を提案する。 提案手法は, 重要な多視点自己教師情報の蒸留を自動化する, 対向的コントラスト学習パラダイムである。 実生活データセット上での様々な時空間予測タスクにおいて,提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2023-06-19T03:09:35Z)
• Unbiased Scene Graph Generation in Videos [36.889659781604564]
  TEMPURA: temporal consistency and Memory-guided UnceRtainty Attenuation for unbiased dynamic SGG。 TEMPURAはトランスフォーマーシーケンスモデリングによってオブジェクトレベルの時間的整合性を採用し、バイアスのない関係表現を合成することを学ぶ。 提案手法は,既存手法に比べて大きな性能向上(場合によっては最大10%)を達成している。
  論文  参考訳（メタデータ） (2023-04-03T06:10:06Z)
• EasyDGL: Encode, Train and Interpret for Continuous-time Dynamic Graph Learning [92.71579608528907]
  本稿では,3つのモジュールから構成される使い勝手の良いパイプライン(EasyDGL)を設計することを目的とする。 EasyDGLは、進化するグラフデータからモデルが学習する周波数コンテンツの予測力を効果的に定量化することができる。
  論文  参考訳（メタデータ） (2023-03-22T06:35:08Z)
• Scene Graph Modification as Incremental Structure Expanding [61.84291817776118]
  本研究では,既存のシーングラフを自然言語クエリに基づいて更新する方法を学習するために,シーングラフ修正(SGM)に注目した。 インクリメンタル構造拡張(ISE)の導入によるグラフ拡張タスクとしてのSGM 既存のデータセットよりも複雑なクエリと大きなシーングラフを含む、挑戦的なデータセットを構築します。
  論文  参考訳（メタデータ） (2022-09-15T16:26:14Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Exploiting Long-Term Dependencies for Generating Dynamic Scene Graphs [15.614710220461353]
  動的シーングラフを効果的に生成するためには,長期的依存関係のキャプチャが鍵となることを示す。 実験の結果,動的シーングラフ検出変換器(DSG-DETR)は最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-12-18T03:02:11Z)
• Visual Distant Supervision for Scene Graph Generation [66.10579690929623]
  シーングラフモデルは通常、大量のラベル付きデータを人間のアノテーションで教師付き学習する必要がある。 本研究では,人間ラベルデータを用いずにシーングラフモデルを訓練できる視覚関係学習の新しいパラダイムである視覚遠方監視を提案する。 包括的な実験結果から、我々の遠隔監視モデルは、弱い監督と半監督のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2021-03-29T06:35:24Z)
• Iterative Graph Self-Distillation [161.04351580382078]
  我々は、IGSD(Iterative Graph Self-Distillation)と呼ばれる新しい教師なしグラフ学習パラダイムを提案する。 IGSDは、グラフ拡張による教師/学生の蒸留を反復的に行う。 我々は,教師なしと半教師なしの両方の設定において,さまざまなグラフデータセットに対して,有意かつ一貫したパフォーマンス向上を実現していることを示す。
  論文  参考訳（メタデータ） (2020-10-23T18:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。