論文の概要: Adaptive Visual Scene Understanding: Incremental Scene Graph Generation

• arxiv url: http://arxiv.org/abs/2310.01636v2
• Date: Wed, 11 Oct 2023 02:02:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 02:51:53.625789
• Title: Adaptive Visual Scene Understanding: Incremental Scene Graph Generation
• Title（参考訳）: 適応的視覚シーン理解:インクリメンタルシーングラフ生成
• Authors: Naitik Khandelwal, Xiao Liu and Mengmi Zhang
• Abstract要約: シーングラフ生成(SGG)は、画像を分析して、オブジェクトとその関係に関する意味のある情報を抽出する。 SGGにおける連続学習手法の欠如に対処するために,連続ScenEグラフ生成データセットを包括的に導入する。
• 参考スコア（独自算出の注目度）: 20.255178648494756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scene graph generation (SGG) involves analyzing images to extract meaningful information about objects and their relationships. Given the dynamic nature of the visual world, it becomes crucial for AI systems to detect new objects and establish their new relationships with existing objects. To address the lack of continual learning methodologies in SGG, we introduce the comprehensive Continual ScenE Graph Generation (CSEGG) dataset along with 3 learning scenarios and 8 evaluation metrics. Our research investigates the continual learning performances of existing SGG methods on the retention of previous object entities and relationships as they learn new ones. Moreover, we also explore how continual object detection enhances generalization in classifying known relationships on unknown objects. We conduct extensive experiments benchmarking and analyzing the classical two-stage SGG methods and the most recent transformer-based SGG methods in continual learning settings, and gain valuable insights into the CSEGG problem. We invite the research community to explore this emerging field of study.
• Abstract（参考訳）: シーングラフ生成(SGG)は、画像を分析し、オブジェクトとその関係に関する意味のある情報を抽出する。 視覚世界のダイナミックな性質を考えると、AIシステムは新しいオブジェクトを検出し、既存のオブジェクトとの新たな関係を確立することが重要である。 SGGにおける連続学習手法の欠如に対処するため,3つの学習シナリオと8つの評価指標とともにCSEGGデータセットを包括的に導入した。 本研究は,既存のSGG手法の継続学習性能が,既存オブジェクトの保持や,新しいオブジェクトを学習する際の関連性について検討する。 さらに、連続物体検出が未知物体上の既知の関係を分類する際の一般化をいかに促進するかについても検討する。 本研究では,古典的な2段階SGG法と最新のトランスフォーマーベースSGG法を連続学習環境でベンチマークし,解析し,CSEGG問題に対する貴重な知見を得る。 私たちはこの新たな研究分野を探求するために研究コミュニティを招待します。

関連論文リスト

• Scene Graph Generation Strategy with Co-occurrence Knowledge and Learnable Term Frequency [3.351553095054309]
  シーングラフ生成(SGG)は、画像内のオブジェクト間の関係をグラフ構造として表現する。 これまでの研究は、SGG生成時の物体の共起を反映しなかった。 本稿では、オブジェクト間の共起知識と学習可能な用語の周波数逆文書頻度を反映したCooKを提案する。
  論文  参考訳（メタデータ） (2024-05-21T09:56:48Z)
• Expanding Scene Graph Boundaries: Fully Open-vocabulary Scene Graph Generation via Visual-Concept Alignment and Retention [69.36723767339001]
  SGG(Scene Graph Generation)は、多くのコンピュータビジョンアプリケーションにおいて重要な構造化された表現を提供する。 我々はOvSGTRという名前の統一フレームワークを全体的視点から完全にオープンな語彙SGGに向けて提案する。 関係付きオープン語彙SGGのより困難な設定のために、提案手法は関係対応型事前学習を統合する。
  論文  参考訳（メタデータ） (2023-11-18T06:49:17Z)
• Local-Global Information Interaction Debiasing for Dynamic Scene Graph Generation [51.92419880088668]
  マルチタスク学習に基づく新しいDynSGGモデルDynSGG-MTLを提案する。 長期的人間の行動は、大域的な制約に適合する複数のシーングラフを生成するためにモデルを監督し、尾の述語を学べないモデルを避ける。
  論文  参考訳（メタデータ） (2023-08-10T01:24:25Z)
• Unbiased Heterogeneous Scene Graph Generation with Relation-aware Message Passing Neural Network [9.779600950401315]
  関係認識コンテキストをキャプチャする不偏不均質なシーングラフ生成(HetSGG)フレームワークを提案する。 我々は、画像のコンテキスト情報を集約するRMP(Relation-Aware Message Passing Neural Network)と呼ばれる新しいメッセージパッシング層を考案した。
  論文  参考訳（メタデータ） (2022-12-01T11:25:36Z)
• Towards Open-vocabulary Scene Graph Generation with Prompt-based Finetuning [84.39787427288525]
  シーングラフ生成(SGG)は、画像内のオブジェクト間の視覚的関係を検出するための基本的なタスクである。 オープンボキャブラリシーングラフ生成は,モデルが一連のベースオブジェクトクラスでトレーニングされる,斬新で現実的で困難な設定である。 我々のメソッドは、既存のメソッドが処理できない、完全に見えないオブジェクトクラスに対する推論をサポートすることができる。
  論文  参考訳（メタデータ） (2022-08-17T09:05:38Z)
• Scene Graph Generation: A Comprehensive Survey [35.80909746226258]
  シーングラフは、その強力な意味表現とシーン理解への応用から研究の焦点となっている。 SGG(Scene Graph Generation)とは、画像を自動的にセマンティックなシーングラフにマッピングするタスクである。 本稿では,異なる入力モダリティをカバーする138の代表的な作品についてレビューし,既存の画像ベースSGGの手法を体系的に要約する。
  論文  参考訳（メタデータ） (2022-01-03T00:55:33Z)
• Not All Relations are Equal: Mining Informative Labels for Scene Graph Generation [48.21846438269506]
  シーングラフ生成(SGG)は、オブジェクトのペア間の多様な相互作用をキャプチャすることを目的としている。 既存のSGG法では、トレーニングデータに様々なバイアスがあるため、視覚的およびテキスト的相関に関する複雑な推論が得られない。 本稿では,その情報性に基づいて関係ラベルを利用するSGGトレーニングのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-26T14:34:12Z)
• Semantic Compositional Learning for Low-shot Scene Graph Generation [122.51930904132685]
  多くのシーングラフ生成(SGG)モデルは、トレーニングに限定された注釈付き関係トリプルのみを使用する。 本稿では,新たな意味論的構成学習戦略を提案する。 最近の3つのSGGモデルでは、我々の戦略を追加することで、その性能が50%近く向上する。
  論文  参考訳（メタデータ） (2021-08-19T10:13:55Z)
• Unconditional Scene Graph Generation [72.53624470737712]
  我々はラベル付きおよび有向グラフ上の確率分布を学習できるSceneGraphGenと呼ばれる深層自己回帰モデルを開発した。 SceneGraphGenによって生成されたシーングラフは多様であり、実世界のシーンのセマンティックなパターンに従う。
  論文  参考訳（メタデータ） (2021-08-12T17:57:16Z)
• Zero-Shot Scene Graph Relation Prediction through Commonsense Knowledge Integration [9.203403318435486]
  我々は,シーングラフ生成のためのコモンセンス知識を統合するフレームワークであるCommOnsense-integrAted sCenegrapHrElation pRediction (COACHER)を提案する。 具体的には、外部コモンセンス知識グラフにおいて、エンティティ周辺の近傍と経路をモデル化する新しいグラフマイニングパイプラインを開発する。
  論文  参考訳（メタデータ） (2021-07-11T16:22:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。