論文の概要: Adaptive Fine-Grained Predicates Learning for Scene Graph Generation

• arxiv url: http://arxiv.org/abs/2207.04602v1
• Date: Mon, 11 Jul 2022 03:37:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 13:00:52.982836
• Title: Adaptive Fine-Grained Predicates Learning for Scene Graph Generation
• Title（参考訳）: シーングラフ生成のための適応的細粒述語学習
• Authors: Xinyu Lyu, Lianli Gao, Pengpeng Zeng, Heng Tao Shen, Jingkuan Song
• Abstract要約: 一般的なシーングラフ生成(SGG)モデルは、頭部の述語を予測する傾向があり、再バランス戦略は尾のカテゴリを好む。 本稿では,SGGの難解な述語を識別することを目的とした適応的微粒述語学習(FGPL-A)を提案する。 提案したモデル非依存戦略は,VG-SGGおよびGQA-SGGデータセットのベンチマークモデルの性能を最大175%,Mean Recall@100では76%向上させ,新たな最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 122.4588401267544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of current Scene Graph Generation (SGG) models is severely hampered by hard-to-distinguish predicates, e.g., woman-on/standing on/walking on-beach. As general SGG models tend to predict head predicates and re-balancing strategies prefer tail categories, none of them can appropriately handle hard-to-distinguish predicates. To tackle this issue, inspired by fine-grained image classification, which focuses on differentiating hard-to-distinguish objects, we propose an Adaptive Fine-Grained Predicates Learning (FGPL-A) which aims at differentiating hard-to-distinguish predicates for SGG. First, we introduce an Adaptive Predicate Lattice (PL-A) to figure out hard-to-distinguish predicates, which adaptively explores predicate correlations in keeping with model's dynamic learning pace. Practically, PL-A is initialized from SGG dataset, and gets refined by exploring model's predictions of current mini-batch. Utilizing PL-A, we propose an Adaptive Category Discriminating Loss (CDL-A) and an Adaptive Entity Discriminating Loss (EDL-A), which progressively regularize model's discriminating process with fine-grained supervision concerning model's dynamic learning status, ensuring balanced and efficient learning process. Extensive experimental results show that our proposed model-agnostic strategy significantly boosts performance of benchmark models on VG-SGG and GQA-SGG datasets by up to 175% and 76% on Mean Recall@100, achieving new state-of-the-art performance. Moreover, experiments on Sentence-to-Graph Retrieval and Image Captioning tasks further demonstrate practicability of our method.
• Abstract（参考訳）: 現在のシーングラフ生成(SGG)モデルの性能は、女性オン/スタンディングオン/ウォーキングオンビーチなど、区別が難しい述語によって著しく妨げられている。 一般的なsggモデルは頭述語を予測し、再バランス戦略は尾のカテゴリーを好む傾向があるため、区別が難しい述語を適切に扱うことはできない。 そこで,本稿では,sgg における識別困難述語を識別することを目的とした適応的細粒度述語学習 (fgpl-a) を提案する。 まず,モデルの動的学習ペースを保ちながら述語相関を適応的に探索する適応述語格子(pl-a)を提案する。 実際、PL-AはSGGデータセットから初期化され、モデルによる現在のミニバッチの予測を探索することで洗練される。 本稿では,pl-aを用いて,モデルの動的学習状態に関する細かな監督により,モデルの識別プロセスを段階的に規則化し,バランスと効率的な学習プロセスを確保する適応的カテゴリー識別損失(cdl-a)と適応的エンティティ識別損失(edl-a)を提案する。 提案したモデル非依存戦略は,VG-SGGおよびGQA-SGGデータセットのベンチマークモデルの性能を最大175%,Mean Recall@100では76%向上し,新たな最先端性能を実現している。 さらに,文対グラフ検索とキャプション課題の実験により,本手法の実用性がさらに示された。

関連論文リスト

• Ensemble Predicate Decoding for Unbiased Scene Graph Generation [40.01591739856469]
  シーングラフ生成(SGG)は、与えられたシナリオの意味情報をキャプチャする包括的なグラフィカル表現を生成することを目的としている。 よりきめ細かい述語を予測する際のモデルの性能は、有意な述語バイアスによって妨げられる。 本稿では,複数のデコーダを用いて非バイアスなシーングラフ生成を実現するEnsemble Predicate Decoding (EPD)を提案する。
  論文  参考訳（メタデータ） (2024-08-26T11:24:13Z)
• Adaptive Meta-learner via Gradient Similarity for Few-shot Text Classification [11.035878821365149]
  本稿では, モデル一般化能力の向上を図るため, 適応型メタラーナをグラディエント類似性(AMGS)を介して提案する。 いくつかのベンチマークによる実験結果から,提案したAMGSは連続的にテキスト分類性能を向上することが示された。
  論文  参考訳（メタデータ） (2022-09-10T16:14:53Z)
• Fine-grained Retrieval Prompt Tuning [149.9071858259279]
  微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。 学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:04Z)
• Fine-Grained Predicates Learning for Scene Graph Generation [155.48614435437355]
  Fine-Grained Predicates Learningは、シーングラフ生成タスクにおいて、識別困難な述語間の差別化を目的としている。 本稿では,SGGモデルによる詳細な述語ペアの探索を支援するPredicate Latticeを提案する。 次に、カテゴリ識別損失とエンティティ識別損失を提案し、どちらも粒度の細かい述語の識別に寄与する。
  論文  参考訳（メタデータ） (2022-04-06T06:20:09Z)
• Hierarchical Memory Learning for Fine-Grained Scene Graph Generation [49.39355372599507]
  本稿では,HML(Hierarchical Memory Learning)フレームワークを提案する。 粗い述語と細かな述語を自律的に分割した後、モデルはまず粗い述語で訓練され、次に細かな述語を学ぶ。
  論文  参考訳（メタデータ） (2022-03-14T08:01:14Z)
• PCPL: Predicate-Correlation Perception Learning for Unbiased Scene Graph Generation [58.98802062945709]
  本稿では,適切な損失重みを適応的に求めるための新しい述語相関知覚学習手法を提案する。 我々のPCPLフレームワークは、文脈特徴をよりよく抽出するグラフエンコーダモジュールも備えています。
  論文  参考訳（メタデータ） (2020-09-02T08:30:09Z)
• Few-shot Classification via Adaptive Attention [93.06105498633492]
  ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。 実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
  論文  参考訳（メタデータ） (2020-08-06T05:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。