論文の概要: Fine-Grained Scene Graph Generation with Data Transfer

• arxiv url: http://arxiv.org/abs/2203.11654v1
• Date: Tue, 22 Mar 2022 12:26:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-23 12:37:55.977167
• Title: Fine-Grained Scene Graph Generation with Data Transfer
• Title（参考訳）: データ転送による細粒度シーングラフ生成
• Authors: Ao Zhang, Yuan Yao, Qianyu Chen, Wei Ji, Zhiyuan Liu, Maosong Sun, Tat-Seng Chua
• Abstract要約: シーングラフ生成(SGG)は、画像中の三つ子(オブジェクト、述語、オブジェクト)を抽出することを目的としている。 最近の研究は、SGGを着実に進歩させ、高レベルの視覚と言語理解に有用なツールを提供している。 そこで本研究では,プレー・アンド・プラグ方式で適用可能で,約1,807の述語クラスを持つ大規模SGGに拡張可能な,内部・外部データ転送(IETrans)手法を提案する。
• 参考スコア（独自算出の注目度）: 127.17675443137064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene graph generation (SGG) aims to extract (subject, predicate, object) triplets in images. Recent works have made a steady progress on SGG, and provide useful tools for high-level vision and language understanding. However, due to the data distribution problems including long-tail distribution and semantic ambiguity, the predictions of current SGG models tend to collapse to several frequent but uninformative predicates (e.g., \textit{on}, \textit{at}), which limits practical application of these models in downstream tasks. To deal with the problems above, we propose a novel Internal and External Data Transfer (IETrans) method, which can be applied in a play-and-plug fashion and expanded to large SGG with 1,807 predicate classes. Our IETrans tries to relieve the data distribution problem by automatically creating an enhanced dataset that provides more sufficient and coherent annotations for all predicates. By training on the transferred dataset, a Neural Motif model doubles the macro performance while maintaining competitive micro performance. The data and code for this paper are publicly available at \url{https://github.com/waxnkw/IETrans-SGG.pytorch}
• Abstract（参考訳）: scene graph generation (sgg) は画像中の(サブジェクト、述語、オブジェクト)トリプレットを抽出することを目的としている。 最近の研究はSGGを着実に進歩させ、高レベルの視覚と言語理解に有用なツールを提供している。 しかしながら、ロングテール分布やセマンティクス曖昧性を含むデータ分布の問題により、現在のsggモデルの予測は、ダウンストリームタスクにおけるこれらのモデルの実用的適用を制限するいくつかの頻繁だが非形式的な述語(例えば、 \textit{on}, \textit{at})に崩壊する傾向がある。 上記の問題に対処するために,遊びとプラグで適用可能な新しい内部・外部データ転送(IETrans)手法を提案し,1,807の述語クラスを持つ大規模SGGに拡張した。 当社のIETransは、すべての述語に対してより十分かつ一貫性のあるアノテーションを提供する拡張データセットを自動生成することで、データ分散問題を解消しようとしています。 移行データセットのトレーニングにより、Neural Motifモデルは、競合するマイクロパフォーマンスを維持しながら、マクロパフォーマンスを2倍にする。 本論文のデータとコードは \url{https://github.com/waxnkw/IETrans-SGG.pytorch} で公開されている。

関連論文リスト

• ZeroG: Investigating Cross-dataset Zero-shot Transferability in Graphs [36.749959232724514]
  ZeroGは、クロスデータセットの一般化を可能にするために設計された新しいフレームワークである。 特徴の不整合、ラベル空間の整合、負の移動といった、固有の課題に対処する。 本稿では,抽出したサブグラフの意味情報と構造情報を豊かにするための,プロンプトベースのサブグラフサンプリングモジュールを提案する。
  論文  参考訳（メタデータ） (2024-02-17T09:52:43Z)
• Empower Text-Attributed Graphs Learning with Large Language Models (LLMs) [5.920353954082262]
  本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。 実験では、特に低ショットシナリオにおいて、提案したパラダイムの卓越した性能を示す。
  論文  参考訳（メタデータ） (2023-10-15T16:04:28Z)
• Fine-Grained is Too Coarse: A Novel Data-Centric Approach for Efficient Scene Graph Generation [0.7851536646859476]
  本稿では,関連性の生成を優先するSGG(Efficient Scene Graph Generation)の課題を紹介する。 我々は、人気のあるVisual Genomeデータセットのアノテーションに基づいて、新しいデータセットVG150をキュレートする。 我々は、このデータセットが通常SGGで使用されるものよりも高品質で多様なアノテーションを含んでいることを示す一連の実験を通して示す。
  論文  参考訳（メタデータ） (2023-05-30T00:55:49Z)
• Visually-Prompted Language Model for Fine-Grained Scene Graph Generation in an Open World [67.03968403301143]
  SGG(Scene Graph Generation)は、視覚理解のための画像中の主観的、述語的、対象的な関係を抽出することを目的としている。 既存の再バランス戦略は、以前のルールを通じてそれを処理しようとするが、まだ事前に定義された条件に制限されている。 そこで我々は,多種多様な粒度の述語を生成するために,視覚的にプロンプトされた言語モデルを学習するクロスモーダルプレディケイトブースティング(CaCao)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-23T13:06:38Z)
• Towards Open-vocabulary Scene Graph Generation with Prompt-based Finetuning [84.39787427288525]
  シーングラフ生成(SGG)は、画像内のオブジェクト間の視覚的関係を検出するための基本的なタスクである。 オープンボキャブラリシーングラフ生成は,モデルが一連のベースオブジェクトクラスでトレーニングされる,斬新で現実的で困難な設定である。 我々のメソッドは、既存のメソッドが処理できない、完全に見えないオブジェクトクラスに対する推論をサポートすることができる。
  論文  参考訳（メタデータ） (2022-08-17T09:05:38Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。