論文の概要: GPT4SGG: Synthesizing Scene Graphs from Holistic and Region-specific Narratives

• arxiv url: http://arxiv.org/abs/2312.04314v2
• Date: Sun, 2 Jun 2024 11:32:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 20:01:52.207361
• Title: GPT4SGG: Synthesizing Scene Graphs from Holistic and Region-specific Narratives
• Title（参考訳）: GPT4SGG: 立体的・地域特異的なナラティブからシーングラフを合成する
• Authors: Zuyao Chen, Jinlin Wu, Zhen Lei, Zhaoxiang Zhang, Changwen Chen,
• Abstract要約: 我々は,より正確で包括的なシーングラフ信号を得るために,textitGPT4SGという新しいフレームワークを提案する。 textitGPT4SGGは、画像キャプチャーデータに基づいて訓練されたSGGモデルの性能を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 69.36723767339001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training Scene Graph Generation (SGG) models with natural language captions has become increasingly popular due to the abundant, cost-effective, and open-world generalization supervision signals that natural language offers. However, such unstructured caption data and its processing pose significant challenges in learning accurate and comprehensive scene graphs. The challenges can be summarized as three aspects: 1) traditional scene graph parsers based on linguistic representation often fail to extract meaningful relationship triplets from caption data. 2) grounding unlocalized objects of parsed triplets will meet ambiguity issues in visual-language alignment. 3) caption data typically are sparse and exhibit bias to partial observations of image content. Aiming to address these problems, we propose a divide-and-conquer strategy with a novel framework named \textit{GPT4SGG}, to obtain more accurate and comprehensive scene graph signals. This framework decomposes a complex scene into a bunch of simple regions, resulting in a set of region-specific narratives. With these region-specific narratives (partial observations) and a holistic narrative (global observation) for an image, a large language model (LLM) performs the relationship reasoning to synthesize an accurate and comprehensive scene graph. Experimental results demonstrate \textit{GPT4SGG} significantly improves the performance of SGG models trained on image-caption data, in which the ambiguity issue and long-tail bias have been well-handled with more accurate and comprehensive scene graphs.
• Abstract（参考訳）: 自然言語キャプションを備えたトレーニングシーングラフ生成(SGG)モデルは,自然言語が提供する豊富な,費用効率のよい,オープンワールドの一般化監視信号によって,ますます人気が高まっている。 しかし、そのような非構造化キャプションデータとその処理は、正確で包括的なシーングラフを学習する上で大きな課題となる。 課題は3つの側面にまとめることができる。 1) 言語表現に基づく伝統的なシーングラフ解析では, キャプションデータから意味のある関係トリプレットを抽出できないことが多い。 2) パースされた三重項の非局所化オブジェクトを接地すると、視覚言語アライメントの曖昧さが問題となる。 3) キャプションデータは通常スパースであり, 画像内容の部分的観察に偏りを示す。 これらの問題に対処するために,より正確で包括的なシーングラフ信号を得るために,textit{GPT4SGG} という新しいフレームワークを用いた分割型手法を提案する。 このフレームワークは複雑なシーンを単純な領域の集合に分解し、その結果、地域固有の物語の集合となる。 これらの領域固有の物語(部分的観察)と画像に対する全体論的な物語(言語観察)により、大言語モデル(LLM)は、正確な総合的なシーングラフを合成するための関係推論を行う。 実験により,画像キャプションデータに基づいて訓練したSGGモデルの性能は,より正確で包括的なシーングラフで曖昧さ問題と長尾偏差がうまく処理されていることが明らかとなった。

関連論文リスト

• SG-Adapter: Enhancing Text-to-Image Generation with Scene Graph Guidance [46.77060502803466]
  本稿では,シーングラフの構造化表現を利用したScene Graph Adapter(SG-Adapter)を導入する。 SG-Adapterの明示的で完全に連結されていないグラフ表現は、完全に連結されたトランスフォーマーベースのテキスト表現を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-24T08:00:46Z)
• Lang3DSG: Language-based contrastive pre-training for 3D Scene Graph prediction [16.643252717745348]
  本稿では,3次元シーングラフのための言語ベースの事前学習手法を提案する。 一般的な視覚言語モデルであるCLIPの言語エンコーダを利用して、その知識をグラフベースのネットワークに抽出する。 提案手法は,メインセマンティックな3Dシーングラフベンチマークにおいて,最先端の結果を達成している。
  論文  参考訳（メタデータ） (2023-10-25T09:26:16Z)
• LLM4SGG: Large Language Models for Weakly Supervised Scene Graph Generation [27.97296273461145]
  WSSGG(Weakly Supervised Scene Graph Generation)研究は、最近、完全に教師されたアプローチの代替として現れた。 弱教師付きSGG(LLM4SGG)のための新しいアプローチ、すなわちLarge Language Modelを提案する。 Recall@Kと平均Recall@Kは、最先端のWSSGG法と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2023-10-16T13:49:46Z)
• FACTUAL: A Benchmark for Faithful and Consistent Textual Scene Graph Parsing [66.70054075041487]
  画像キャプションをシーングラフに変換する既存のシーングラフは、しばしば2種類のエラーに悩まされる。 まず、生成されたシーングラフはキャプションや対応する画像の真の意味を捉えず、忠実さの欠如をもたらす。 第二に、生成されたシーングラフは一貫性が高く、同じセマンティクスは異なるアノテーションで表される。
  論文  参考訳（メタデータ） (2023-05-27T15:38:31Z)
• CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
  シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。 パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。 生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
  論文  参考訳（メタデータ） (2023-05-25T17:39:13Z)
• Semantic Compositional Learning for Low-shot Scene Graph Generation [122.51930904132685]
  多くのシーングラフ生成(SGG)モデルは、トレーニングに限定された注釈付き関係トリプルのみを使用する。 本稿では,新たな意味論的構成学習戦略を提案する。 最近の3つのSGGモデルでは、我々の戦略を追加することで、その性能が50%近く向上する。
  論文  参考訳（メタデータ） (2021-08-19T10:13:55Z)
• Linguistic Structures as Weak Supervision for Visual Scene Graph Generation [39.918783911894245]
  キャプション内の言語構造がシーングラフ生成にどのように役立つかを示す。 提案手法は, 個々の三重項間の関係や, 対象物や対象物の文脈について, キャプションに記載した情報をキャプチャする。 Web上の多モーダルデータの大規模かつ多様なソースを考えると、言語的監督はクラウドソーシングされた三つ子よりもスケーラブルである。
  論文  参考訳（メタデータ） (2021-05-28T17:20:27Z)
• Generative Compositional Augmentations for Scene Graph Prediction [27.535630110794855]
  シーングラフの形で画像からオブジェクトとその関係を推定することは、視覚と言語を交わす多くのアプリケーションで有用である。 本稿では,この課題において,長い尾データ分布から生じる合成一般化の課題について考察する。 本研究では,条件付き生成逆数ネットワーク(GAN)に基づくモデルの提案と実証研究を行い,乱れたシーングラフの視覚的特徴を生成する。
  論文  参考訳（メタデータ） (2020-07-11T12:11:53Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)
• Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning [72.52804406378023]
  ビデオとテキスト間のクロスモーダル検索は、Web上のビデオの急速な出現により、注目を集めている。 微細なビデオテキスト検索を改善するために,ビデオテキストマッチングをグローバル-ローカルレベルに分解する階層グラフ推論モデルを提案する。
  論文  参考訳（メタデータ） (2020-03-01T03:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。