論文の概要: Not All Relations are Equal: Mining Informative Labels for Scene Graph Generation

• arxiv url: http://arxiv.org/abs/2111.13517v1
• Date: Fri, 26 Nov 2021 14:34:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 20:44:49.452280
• Title: Not All Relations are Equal: Mining Informative Labels for Scene Graph Generation
• Title（参考訳）: すべての関係が等しくない:シーングラフ生成のための情報ラベルのマイニング
• Authors: Arushi Goel, Basura Fernando, Frank Keller and Hakan Bilen
• Abstract要約: シーングラフ生成(SGG)は、オブジェクトのペア間の多様な相互作用をキャプチャすることを目的としている。 既存のSGG法では、トレーニングデータに様々なバイアスがあるため、視覚的およびテキスト的相関に関する複雑な推論が得られない。 本稿では,その情報性に基づいて関係ラベルを利用するSGGトレーニングのための新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 48.21846438269506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scene graph generation (SGG) aims to capture a wide variety of interactions between pairs of objects, which is essential for full scene understanding. Existing SGG methods trained on the entire set of relations fail to acquire complex reasoning about visual and textual correlations due to various biases in training data. Learning on trivial relations that indicate generic spatial configuration like 'on' instead of informative relations such as 'parked on' does not enforce this complex reasoning, harming generalization. To address this problem, we propose a novel framework for SGG training that exploits relation labels based on their informativeness. Our model-agnostic training procedure imputes missing informative relations for less informative samples in the training data and trains a SGG model on the imputed labels along with existing annotations. We show that this approach can successfully be used in conjunction with state-of-the-art SGG methods and improves their performance significantly in multiple metrics on the standard Visual Genome benchmark. Furthermore, we obtain considerable improvements for unseen triplets in a more challenging zero-shot setting.
• Abstract（参考訳）: シーングラフ生成(sgg: scene graph generation)は、オブジェクトのペア間のさまざまなインタラクションをキャプチャすることを目的としている。 既存のSGG法は、学習データに様々なバイアスがあるため、視覚的およびテキスト的相関に関する複雑な推論を得ることができない。 パークオンのような情報的関係ではなく「オン」のような一般的な空間構成を示す自明な関係について学ぶことは、この複雑な推論を強制せず、一般化を損なう。 そこで本研究では,関係ラベルを活用し,その情報に基づいてsggトレーニングのための新しい枠組みを提案する。 モデル非依存なトレーニング手順は,学習データ中の情報的サンプルが少ない情報的関係の欠如を招き,既存のアノテーションとともにラベルのsggモデルを訓練する。 この手法は最先端のsgg法と併用して有効に利用でき、標準のvisual genomeベンチマークで複数の測定基準で性能が大幅に向上する。 さらに,より困難なゼロショット設定において,未発見のトリプレットに対する大幅な改善が得られた。

関連論文リスト

• Adaptive Visual Scene Understanding: Incremental Scene Graph Generation [18.541428517746034]
  シーングラフ生成(SGG)は、画像を分析し、オブジェクトとその関係に関する意味のある情報を抽出する。 本稿では,関係の漸進性,シーンの漸進性,関係の一般化性という3つの学習体制からなるベンチマークを提案する。 また、RASと呼ばれる「分析によるリプレイ」手法についても紹介する。
  論文  参考訳（メタデータ） (2023-10-02T21:02:23Z)
• Towards Unseen Triples: Effective Text-Image-joint Learning for Scene Graph Generation [30.79358827005448]
  SGG(Scene Graph Generation)は、画像内のオブジェクトとその接続を構造的かつ包括的に表現することを目的としている。 既存のSGGモデルは、バイアス付きデータセットによって引き起こされる長い尾の問題を解決するのに苦労することが多い。 テキスト画像結合Scene Graph Generation (TISGG) モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-23T10:17:56Z)
• Towards Open-vocabulary Scene Graph Generation with Prompt-based Finetuning [84.39787427288525]
  シーングラフ生成(SGG)は、画像内のオブジェクト間の視覚的関係を検出するための基本的なタスクである。 オープンボキャブラリシーングラフ生成は,モデルが一連のベースオブジェクトクラスでトレーニングされる,斬新で現実的で困難な設定である。 我々のメソッドは、既存のメソッドが処理できない、完全に見えないオブジェクトクラスに対する推論をサポートすることができる。
  論文  参考訳（メタデータ） (2022-08-17T09:05:38Z)
• NICEST: Noisy Label Correction and Training for Robust Scene Graph Generation [65.78472854070316]
  我々は,SGG:NICESTのための新しいNoIsyラベルCorrEction and Sample Training戦略を提案する。 NICEはまずノイズのあるサンプルを検出し、さらに高品質な述語ラベルを割り当てる。 NICESTは任意のSGGアーキテクチャにシームレスに組み込んで、さまざまな述語カテゴリのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2022-07-27T06:25:47Z)
• Fine-Grained Scene Graph Generation with Data Transfer [127.17675443137064]
  シーングラフ生成(SGG)は、画像中の三つ子(オブジェクト、述語、オブジェクト)を抽出することを目的としている。 最近の研究は、SGGを着実に進歩させ、高レベルの視覚と言語理解に有用なツールを提供している。 そこで本研究では,プレー・アンド・プラグ方式で適用可能で,約1,807の述語クラスを持つ大規模SGGに拡張可能な,内部・外部データ転送(IETrans)手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T12:26:56Z)
• Hyper-relationship Learning Network for Scene Graph Generation [95.6796681398668]
  本稿では,シーングラフ生成のためのハイパーリレーショナル学習ネットワークHLNを提案する。 我々は最も人気のあるSGGデータセット、すなわちVisual Genomeデータセット上でHLNを評価する。 例えば、提案されたHLNは、関係ごとのリコールを11.3%から13.1%に改善し、画像毎のリコールを19.8%から34.9%に維持する。
  論文  参考訳（メタデータ） (2022-02-15T09:26:16Z)
• Semantic Compositional Learning for Low-shot Scene Graph Generation [122.51930904132685]
  多くのシーングラフ生成(SGG)モデルは、トレーニングに限定された注釈付き関係トリプルのみを使用する。 本稿では,新たな意味論的構成学習戦略を提案する。 最近の3つのSGGモデルでは、我々の戦略を追加することで、その性能が50%近く向上する。
  論文  参考訳（メタデータ） (2021-08-19T10:13:55Z)
• Zero-Shot Scene Graph Relation Prediction through Commonsense Knowledge Integration [9.203403318435486]
  我々は,シーングラフ生成のためのコモンセンス知識を統合するフレームワークであるCommOnsense-integrAted sCenegrapHrElation pRediction (COACHER)を提案する。 具体的には、外部コモンセンス知識グラフにおいて、エンティティ周辺の近傍と経路をモデル化する新しいグラフマイニングパイプラインを開発する。
  論文  参考訳（メタデータ） (2021-07-11T16:22:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。