論文の概要: LLaVA-SpaceSGG: Visual Instruct Tuning for Open-vocabulary Scene Graph Generation with Enhanced Spatial Relations

• arxiv url: http://arxiv.org/abs/2412.06322v1
• Date: Mon, 09 Dec 2024 09:18:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:54:37.229135
• Title: LLaVA-SpaceSGG: Visual Instruct Tuning for Open-vocabulary Scene Graph Generation with Enhanced Spatial Relations
• Title（参考訳）: LLaVA-SpaceSGG:空間関係を拡張したオープン語彙シーングラフ生成のためのビジュアルインストラクションチューニング
• Authors: Mingjie Xu, Mengyang Wu, Yuzhi Zhao, Jason Chun Lok Li, Weifeng Ou,
• Abstract要約: シーングラフ生成(SGG)は、視覚シーンを構造化グラフ表現に変換する。 既存のSGGモデルは、しばしば必要不可欠な空間関係を見落とし、開語彙文脈における一般化に苦慮する。 LLaVA-SpaceSGG, LLaVA-SpaceSGGを提案する。
• 参考スコア（独自算出の注目度）: 13.055077747280917
• License:
• Abstract: Scene Graph Generation (SGG) converts visual scenes into structured graph representations, providing deeper scene understanding for complex vision tasks. However, existing SGG models often overlook essential spatial relationships and struggle with generalization in open-vocabulary contexts. To address these limitations, we propose LLaVA-SpaceSGG, a multimodal large language model (MLLM) designed for open-vocabulary SGG with enhanced spatial relation modeling. To train it, we collect the SGG instruction-tuning dataset, named SpaceSGG. This dataset is constructed by combining publicly available datasets and synthesizing data using open-source models within our data construction pipeline. It combines object locations, object relations, and depth information, resulting in three data formats: spatial SGG description, question-answering, and conversation. To enhance the transfer of MLLMs' inherent capabilities to the SGG task, we introduce a two-stage training paradigm. Experiments show that LLaVA-SpaceSGG outperforms other open-vocabulary SGG methods, boosting recall by 8.6% and mean recall by 28.4% compared to the baseline. Our codebase, dataset, and trained models are publicly accessible on GitHub at the following URL: https://github.com/Endlinc/LLaVA-SpaceSGG.
• Abstract（参考訳）: シーングラフ生成(SGG)は、視覚シーンを構造化されたグラフ表現に変換し、複雑な視覚タスクのためのより深いシーン理解を提供する。 しかし、既存のSGGモデルは、しばしば必要不可欠な空間関係を見落とし、開語彙文脈における一般化に苦慮する。 これらの制約に対処するため、空間関係モデリングを拡張したオープン語彙SGG用に設計されたマルチモーダル大言語モデル(MLLM)であるLLaVA-SpaceSGGを提案する。 トレーニングにはSpaceSGGという名前のSGG命令チューニングデータセットを収集する。 このデータセットは、公開されているデータセットを組み合わせて、データ構築パイプライン内のオープンソースのモデルを使用してデータを合成することで構築されます。 オブジェクトの位置、オブジェクトの関係、深度情報を組み合わせて、空間的なSGG記述、質問応答、会話という3つのデータ形式を生み出します。 MLLM固有の能力をSGGタスクに伝達するために,2段階のトレーニングパラダイムを導入する。 実験の結果、LLaVA-SpaceSGGは他のオープン語彙SGG法よりも優れ、リコールが8.6%、平均リコールが28.4%向上した。 私たちのコードベース、データセット、トレーニングされたモデルは、以下のURLでGitHubで公開されています。

関連論文リスト

• Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
  Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。 セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
  論文  参考訳（メタデータ） (2024-11-25T10:14:10Z)
• AUG: A New Dataset and An Efficient Model for Aerial Image Urban Scene Graph Generation [40.149652254414185]
  本稿では,航空画像都市景観グラフ生成(AUG)データセットを構築し,公開する。 AUGデータセットの画像は、低高度のオーバーヘッドビューでキャプチャされる。 複雑な都市景観において局地的な状況が過大評価されるのを避けるため,本稿では,新たな局地性保存グラフ畳み込みネットワーク(LPG)を提案する。
  論文  参考訳（メタデータ） (2024-04-11T14:29:30Z)
• Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
  OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。 我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。 クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
  論文  参考訳（メタデータ） (2023-11-19T06:00:39Z)
• Expanding Scene Graph Boundaries: Fully Open-vocabulary Scene Graph Generation via Visual-Concept Alignment and Retention [69.36723767339001]
  SGG(Scene Graph Generation)は、多くのコンピュータビジョンアプリケーションにおいて重要な構造化された表現を提供する。 我々はOvSGTRという名前の統一フレームワークを全体的視点から完全にオープンな語彙SGGに向けて提案する。 関係付きオープン語彙SGGのより困難な設定のために、提案手法は関係対応型事前学習を統合する。
  論文  参考訳（メタデータ） (2023-11-18T06:49:17Z)
• Towards Open-vocabulary Scene Graph Generation with Prompt-based Finetuning [84.39787427288525]
  シーングラフ生成(SGG)は、画像内のオブジェクト間の視覚的関係を検出するための基本的なタスクである。 オープンボキャブラリシーングラフ生成は,モデルが一連のベースオブジェクトクラスでトレーニングされる,斬新で現実的で困難な設定である。 我々のメソッドは、既存のメソッドが処理できない、完全に見えないオブジェクトクラスに対する推論をサポートすることができる。
  論文  参考訳（メタデータ） (2022-08-17T09:05:38Z)
• Fine-Grained Scene Graph Generation with Data Transfer [127.17675443137064]
  シーングラフ生成(SGG)は、画像中の三つ子(オブジェクト、述語、オブジェクト)を抽出することを目的としている。 最近の研究は、SGGを着実に進歩させ、高レベルの視覚と言語理解に有用なツールを提供している。 そこで本研究では,プレー・アンド・プラグ方式で適用可能で,約1,807の述語クラスを持つ大規模SGGに拡張可能な,内部・外部データ転送(IETrans)手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T12:26:56Z)
• Not All Relations are Equal: Mining Informative Labels for Scene Graph Generation [48.21846438269506]
  シーングラフ生成(SGG)は、オブジェクトのペア間の多様な相互作用をキャプチャすることを目的としている。 既存のSGG法では、トレーニングデータに様々なバイアスがあるため、視覚的およびテキスト的相関に関する複雑な推論が得られない。 本稿では,その情報性に基づいて関係ラベルを利用するSGGトレーニングのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-26T14:34:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。