論文の概要: Adaptive Visual Scene Understanding: Incremental Scene Graph Generation
- arxiv url: http://arxiv.org/abs/2310.01636v4
- Date: Fri, 01 Nov 2024 05:29:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-04 14:32:23.479070
- Title: Adaptive Visual Scene Understanding: Incremental Scene Graph Generation
- Title（参考訳）: Adaptive Visual Scene Understanding: Incremental Scene Graph Generation
- Authors: Naitik Khandelwal, Xiao Liu, Mengmi Zhang,
- Abstract要約: シーングラフ生成(SGG)は、画像を分析し、オブジェクトとその関係に関する意味のある情報を抽出する。
本稿では,関係の漸進性,シーンの漸進性,関係の一般化性という3つの学習体制からなるベンチマークを提案する。
また、RASと呼ばれる「分析によるリプレイ」手法についても紹介する。
- 参考スコア（独自算出の注目度）: 18.541428517746034
- License:
- Abstract: Scene graph generation (SGG) analyzes images to extract meaningful information about objects and their relationships. In the dynamic visual world, it is crucial for AI systems to continuously detect new objects and establish their relationships with existing ones. Recently, numerous studies have focused on continual learning within the domains of object detection and image recognition. However, a limited amount of research focuses on a more challenging continual learning problem in SGG. This increased difficulty arises from the intricate interactions and dynamic relationships among objects, and their associated contexts. Thus, in continual learning, SGG models are often required to expand, modify, retain, and reason scene graphs within the process of adaptive visual scene understanding. To systematically explore Continual Scene Graph Generation (CSEGG), we present a comprehensive benchmark comprising three learning regimes: relationship incremental, scene incremental, and relationship generalization. Moreover, we introduce a ``Replays via Analysis by Synthesis" method named RAS. This approach leverages the scene graphs, decomposes and re-composes them to represent different scenes, and replays the synthesized scenes based on these compositional scene graphs. The replayed synthesized scenes act as a means to practice and refine proficiency in SGG in known and unknown environments. Our experimental results not only highlight the challenges of directly combining existing continual learning methods with SGG backbones but also demonstrate the effectiveness of our proposed approach, enhancing CSEGG efficiency while simultaneously preserving privacy and memory usage. All data and source code are publicly available online.
- Abstract（参考訳）: シーングラフ生成(SGG)は、画像を分析し、オブジェクトとその関係に関する意味のある情報を抽出する。
動的視覚の世界では、AIシステムが新しいオブジェクトを継続的に検出し、既存のオブジェクトとの関係を確立することが不可欠である。
近年,物体検出と画像認識の領域における連続的な学習に焦点が当てられている。
しかし、限定的な研究は、SGGにおけるより挑戦的な継続的な学習問題に焦点を当てている。
この難しさは、オブジェクト間の複雑な相互作用と動的関係、およびそれらの関連するコンテキストから生じる。
したがって、連続学習においては、適応的な視覚的シーン理解のプロセスにおいて、SGGモデルはシーングラフを拡張し、修正し、保持し、理にかなう必要がある。
本研究では,連続シーングラフ生成(CSEGG)を体系的に探索するために,関係の漸進性,シーンの漸増性,関係の一般化性という3つの学習方法からなる総合的なベンチマークを提案する。
さらに,RASという「分析によるリプレイ」手法についても紹介する。
このアプローチはシーングラフを利用し、それらを分解して再構成して異なるシーンを表現し、これらの構成シーングラフに基づいて合成されたシーンを再生する。
リプレイされた合成シーンは、未知の環境下でSGGの熟練を実践し、洗練する手段として機能する。
実験結果は,既存の連続学習手法とSGGバックボーンを直接組み合わせることの課題だけでなく,CSEGGの効率を高めるとともに,プライバシとメモリ使用率を同時に保ちながら,提案手法の有効性を示すものである。
データとソースコードはすべてオンラインで公開されている。
関連論文リスト
- Scene Graph Generation Strategy with Co-occurrence Knowledge and Learnable Term Frequency [3.351553095054309]
シーングラフ生成(SGG)は、画像内のオブジェクト間の関係をグラフ構造として表現する。
これまでの研究は、SGG生成時の物体の共起を反映しなかった。
本稿では、オブジェクト間の共起知識と学習可能な用語の周波数逆文書頻度を反映したCooKを提案する。
論文 参考訳（メタデータ） (2024-05-21T09:56:48Z) - Expanding Scene Graph Boundaries: Fully Open-vocabulary Scene Graph Generation via Visual-Concept Alignment and Retention [69.36723767339001]
SGG(Scene Graph Generation)は、多くのコンピュータビジョンアプリケーションにおいて重要な構造化された表現を提供する。
我々はOvSGTRという名前の統一フレームワークを全体的視点から完全にオープンな語彙SGGに向けて提案する。
関係付きオープン語彙SGGのより困難な設定のために、提案手法は関係対応型事前学習を統合する。
論文 参考訳（メタデータ） (2023-11-18T06:49:17Z) - Local-Global Information Interaction Debiasing for Dynamic Scene Graph
Generation [51.92419880088668]
マルチタスク学習に基づく新しいDynSGGモデルDynSGG-MTLを提案する。
長期的人間の行動は、大域的な制約に適合する複数のシーングラフを生成するためにモデルを監督し、尾の述語を学べないモデルを避ける。
論文 参考訳（メタデータ） (2023-08-10T01:24:25Z) - Unbiased Heterogeneous Scene Graph Generation with Relation-aware
Message Passing Neural Network [9.779600950401315]
関係認識コンテキストをキャプチャする不偏不均質なシーングラフ生成(HetSGG)フレームワークを提案する。
我々は、画像のコンテキスト情報を集約するRMP(Relation-Aware Message Passing Neural Network)と呼ばれる新しいメッセージパッシング層を考案した。
論文 参考訳（メタデータ） (2022-12-01T11:25:36Z) - Towards Open-vocabulary Scene Graph Generation with Prompt-based
Finetuning [84.39787427288525]
シーングラフ生成(SGG)は、画像内のオブジェクト間の視覚的関係を検出するための基本的なタスクである。
オープンボキャブラリシーングラフ生成は,モデルが一連のベースオブジェクトクラスでトレーニングされる,斬新で現実的で困難な設定である。
我々のメソッドは、既存のメソッドが処理できない、完全に見えないオブジェクトクラスに対する推論をサポートすることができる。
論文 参考訳（メタデータ） (2022-08-17T09:05:38Z) - Scene Graph Generation: A Comprehensive Survey [35.80909746226258]
シーングラフは、その強力な意味表現とシーン理解への応用から研究の焦点となっている。
SGG(Scene Graph Generation)とは、画像を自動的にセマンティックなシーングラフにマッピングするタスクである。
本稿では,異なる入力モダリティをカバーする138の代表的な作品についてレビューし,既存の画像ベースSGGの手法を体系的に要約する。
論文 参考訳（メタデータ） (2022-01-03T00:55:33Z) - Not All Relations are Equal: Mining Informative Labels for Scene Graph
Generation [48.21846438269506]
シーングラフ生成(SGG)は、オブジェクトのペア間の多様な相互作用をキャプチャすることを目的としている。
既存のSGG法では、トレーニングデータに様々なバイアスがあるため、視覚的およびテキスト的相関に関する複雑な推論が得られない。
本稿では,その情報性に基づいて関係ラベルを利用するSGGトレーニングのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-26T14:34:12Z) - Semantic Compositional Learning for Low-shot Scene Graph Generation [122.51930904132685]
多くのシーングラフ生成(SGG)モデルは、トレーニングに限定された注釈付き関係トリプルのみを使用する。
本稿では,新たな意味論的構成学習戦略を提案する。
最近の3つのSGGモデルでは、我々の戦略を追加することで、その性能が50%近く向上する。
論文 参考訳（メタデータ） (2021-08-19T10:13:55Z) - Unconditional Scene Graph Generation [72.53624470737712]
我々はラベル付きおよび有向グラフ上の確率分布を学習できるSceneGraphGenと呼ばれる深層自己回帰モデルを開発した。
SceneGraphGenによって生成されたシーングラフは多様であり、実世界のシーンのセマンティックなパターンに従う。
論文 参考訳（メタデータ） (2021-08-12T17:57:16Z) - Zero-Shot Scene Graph Relation Prediction through Commonsense Knowledge
Integration [9.203403318435486]
我々は,シーングラフ生成のためのコモンセンス知識を統合するフレームワークであるCommOnsense-integrAted sCenegrapHrElation pRediction (COACHER)を提案する。
具体的には、外部コモンセンス知識グラフにおいて、エンティティ周辺の近傍と経路をモデル化する新しいグラフマイニングパイプラインを開発する。
論文 参考訳（メタデータ） (2021-07-11T16:22:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。