論文の概要: Label Semantic Knowledge Distillation for Unbiased Scene Graph Generation

• arxiv url: http://arxiv.org/abs/2208.03763v1
• Date: Sun, 7 Aug 2022 16:19:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 13:27:09.161642
• Title: Label Semantic Knowledge Distillation for Unbiased Scene Graph Generation
• Title（参考訳）: 非バイアスシーングラフ生成のためのラベル意味知識蒸留
• Authors: Lin Li, Long Chen, Hanrong Shi, Wenxiao Wang, Jian Shao, Yi Yang, Jun Xiao
• Abstract要約: 未知のシーングラフ生成(SGG)のためのモデル非依存ラベル意味知識蒸留(LS-KD)を提案する。 LS-KDは、予測されたラベル意味分布(LSD)を元の1ホットターゲットラベルと融合することにより、各対象物に対してソフトラベルを動的に生成する。
• 参考スコア（独自算出の注目度）: 34.20922091969159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Scene Graph Generation (SGG) task aims to detect all the objects and their pairwise visual relationships in a given image. Although SGG has achieved remarkable progress over the last few years, almost all existing SGG models follow the same training paradigm: they treat both object and predicate classification in SGG as a single-label classification problem, and the ground-truths are one-hot target labels. However, this prevalent training paradigm has overlooked two characteristics of current SGG datasets: 1) For positive samples, some specific subject-object instances may have multiple reasonable predicates. 2) For negative samples, there are numerous missing annotations. Regardless of the two characteristics, SGG models are easy to be confused and make wrong predictions. To this end, we propose a novel model-agnostic Label Semantic Knowledge Distillation (LS-KD) for unbiased SGG. Specifically, LS-KD dynamically generates a soft label for each subject-object instance by fusing a predicted Label Semantic Distribution (LSD) with its original one-hot target label. LSD reflects the correlations between this instance and multiple predicate categories. Meanwhile, we propose two different strategies to predict LSD: iterative self-KD and synchronous self-KD. Extensive ablations and results on three SGG tasks have attested to the superiority and generality of our proposed LS-KD, which can consistently achieve decent trade-off performance between different predicate categories.
• Abstract（参考訳）: シーングラフ生成(SGG)タスクは、与えられた画像内のすべてのオブジェクトとそのペアの視覚的関係を検出することを目的としている。 SGGはここ数年で顕著な進歩を遂げてきたが、既存のSGGモデルのほとんどは、SGGのオブジェクト分類と述語分類の両方を単一ラベルの分類問題として扱い、1ホットのターゲットラベルである。 しかし、この一般的なトレーニングパラダイムは、現在のSGGデータセットの2つの特徴を見落としている。 1) 正の試料については, 特定の対象物に複数の合理的な述語がある場合がある。 2) 負のサンプルでは、多くのアノテーションが欠落している。 2つの特徴にかかわらず、SGGモデルは容易に混乱し、誤った予測をする。 そこで本研究では,非バイアスSGGのためのモデル非依存型ラベルセマンティック知識蒸留(LS-KD)を提案する。 具体的には、LS-KDは、予測されたラベル意味分布(LSD)を元の1ホットターゲットラベルと融合することにより、各対象物に対してソフトラベルを動的に生成する。 LSDは、このインスタンスと複数の述語カテゴリの相関を反映している。 一方,LSDの予測には,反復的自己KDと同期的自己KDの2つの戦略を提案する。 3つのSGGタスクの大幅な改善と結果が提案したLS-KDの優越性と汎用性を証明した。

関連論文リスト

• Semantic Diversity-aware Prototype-based Learning for Unbiased Scene Graph Generation [21.772806350802203]
  シーングラフ生成(SGG)データセットでは、各対象物対に1つの述語をアノテートする。 既存のSGGモデルは、各ペアについてのみ述語を予測できるように訓練されている。 この結果、SGGモデルは述語に存在するかもしれない意味的多様性を見落としてしまう。
  論文  参考訳（メタデータ） (2024-07-22T05:53:46Z)
• Adaptive Self-training Framework for Fine-grained Scene Graph Generation [29.37568710952893]
  シーングラフ生成(SGG)モデルは、ベンチマークデータセットに関する固有の問題に悩まされている。 SGG (ST-SGG) のための自己学習フレームワークを導入し, 注釈のない三つ子に擬似ラベルを割り当てる。 各種SGGモデルにおけるST-SGGの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-18T08:10:34Z)
• Expanding Scene Graph Boundaries: Fully Open-vocabulary Scene Graph Generation via Visual-Concept Alignment and Retention [69.36723767339001]
  SGG(Scene Graph Generation)は、多くのコンピュータビジョンアプリケーションにおいて重要な構造化された表現を提供する。 我々はOvSGTRという名前の統一フレームワークを全体的視点から完全にオープンな語彙SGGに向けて提案する。 関係付きオープン語彙SGGのより困難な設定のために、提案手法は関係対応型事前学習を統合する。
  論文  参考訳（メタデータ） (2023-11-18T06:49:17Z)
• Informative Scene Graph Generation via Debiasing [124.71164256146342]
  シーングラフ生成は、視覚的関係三重項(オブジェクト、述語、オブジェクト)を検出することを目的としている データのバイアスのため、現在のモデルは一般的な述語を予測する傾向がある。 本稿では,DB-SGGを提案する。
  論文  参考訳（メタデータ） (2023-08-10T02:04:01Z)
• Decomposed Prototype Learning for Few-Shot Scene Graph Generation [28.796734816086065]
  我々は、シーングラフ生成の新しい有望なタスク(SGG: few-shot SGG (FSSGG))に焦点を当てる。 FSSGGは、モデルが以前の知識を素早く伝達し、いくつかの例で新しい述語を認識することを奨励している。 本稿では,新しいDPL(Decomposed Prototype Learning)を提案する。
  論文  参考訳（メタデータ） (2023-03-20T04:54:26Z)
• Towards Open-vocabulary Scene Graph Generation with Prompt-based Finetuning [84.39787427288525]
  シーングラフ生成(SGG)は、画像内のオブジェクト間の視覚的関係を検出するための基本的なタスクである。 オープンボキャブラリシーングラフ生成は,モデルが一連のベースオブジェクトクラスでトレーニングされる,斬新で現実的で困難な設定である。 我々のメソッドは、既存のメソッドが処理できない、完全に見えないオブジェクトクラスに対する推論をサポートすることができる。
  論文  参考訳（メタデータ） (2022-08-17T09:05:38Z)
• NICEST: Noisy Label Correction and Training for Robust Scene Graph Generation [65.78472854070316]
  我々は,SGG:NICESTのための新しいNoIsyラベルCorrEction and Sample Training戦略を提案する。 NICEはまずノイズのあるサンプルを検出し、さらに高品質な述語ラベルを割り当てる。 NICESTは任意のSGGアーキテクチャにシームレスに組み込んで、さまざまな述語カテゴリのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2022-07-27T06:25:47Z)
• Adaptive Fine-Grained Predicates Learning for Scene Graph Generation [122.4588401267544]
  一般的なシーングラフ生成(SGG)モデルは、頭部の述語を予測する傾向があり、再バランス戦略は尾のカテゴリを好む。 本稿では,SGGの難解な述語を識別することを目的とした適応的微粒述語学習(FGPL-A)を提案する。 提案したモデル非依存戦略は,VG-SGGおよびGQA-SGGデータセットのベンチマークモデルの性能を最大175%,Mean Recall@100では76%向上させ,新たな最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-11T03:37:57Z)
• The Devil is in the Labels: Noisy Label Correction for Robust Scene Graph Generation [33.45310571580091]
  本稿では,未知のSGGモデルに対する新しいモデルに依存しないNoIsyラベルCorrEction戦略を提案する。 NICEはノイズの多いサンプルを検出するだけでなく、より高品質な述語ラベルを再割り当てすることもできる。 NICEは負のノイズサンプル検出(Neg-NSD)、正のNSD(Pos-NSD)、雑音サンプル補正(NSC)の3つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-06-07T05:03:57Z)
• Not All Relations are Equal: Mining Informative Labels for Scene Graph Generation [48.21846438269506]
  シーングラフ生成(SGG)は、オブジェクトのペア間の多様な相互作用をキャプチャすることを目的としている。 既存のSGG法では、トレーニングデータに様々なバイアスがあるため、視覚的およびテキスト的相関に関する複雑な推論が得られない。 本稿では,その情報性に基づいて関係ラベルを利用するSGGトレーニングのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-26T14:34:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。