論文の概要: Rethinking the Evaluation of Unbiased Scene Graph Generation
- arxiv url: http://arxiv.org/abs/2208.01909v1
- Date: Wed, 3 Aug 2022 08:23:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-04 13:41:26.900993
- Title: Rethinking the Evaluation of Unbiased Scene Graph Generation
- Title（参考訳）: 曖昧なシーングラフ生成の評価を再考する
- Authors: Xingchen Li, Long Chen, Jian Shao, Shaoning Xiao, Songyang Zhang and
Jun Xiao
- Abstract要約: シーングラフ生成(SGG)手法は、頻繁な述語カテゴリを予測し、稀なカテゴリを認識できない傾向にある。
最近の研究では、偏見のないSGGに焦点が当てられ、Recall@Kを主要な評価基準として採用している。
Independent Mean Recall(IMR)とheighted IMR(wIMR)の2つの相補的評価指標を提案する。
- 参考スコア（独自算出の注目度）: 31.041074897404236
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since the severe imbalanced predicate distributions in common subject-object
relations, current Scene Graph Generation (SGG) methods tend to predict
frequent predicate categories and fail to recognize rare ones. To improve the
robustness of SGG models on different predicate categories, recent research has
focused on unbiased SGG and adopted mean Recall@K (mR@K) as the main evaluation
metric. However, we discovered two overlooked issues about this de facto
standard metric mR@K, which makes current unbiased SGG evaluation vulnerable
and unfair: 1) mR@K neglects the correlations among predicates and
unintentionally breaks category independence when ranking all the triplet
predictions together regardless of the predicate categories, leading to the
performance of some predicates being underestimated. 2) mR@K neglects the
compositional diversity of different predicates and assigns excessively high
weights to some oversimple category samples with limited composable relation
triplet types. It totally conflicts with the goal of SGG task which encourages
models to detect more types of visual relationship triplets. In addition, we
investigate the under-explored correlation between objects and predicates,
which can serve as a simple but strong baseline for unbiased SGG. In this
paper, we refine mR@K and propose two complementary evaluation metrics for
unbiased SGG: Independent Mean Recall (IMR) and weighted IMR (wIMR). These two
metrics are designed by considering the category independence and diversity of
composable relation triplets, respectively. We compare the proposed metrics
with the de facto standard metrics through extensive experiments and discuss
the solutions to evaluate unbiased SGG in a more trustworthy way.
- Abstract（参考訳）: 共通対象関係における厳密な不均衡な述語分布のため、現在のSGG法は頻繁な述語カテゴリを予測し、稀な述語を認識できない傾向にある。
異なる述語カテゴリーにおけるSGGモデルのロバスト性を改善するため、最近の研究では、偏りのないSGGに着目し、平均Recall@K(mR@K)を主要な評価指標として採用している。
しかし、このデファクト標準計量mR@Kに関する2つの見過ごされた問題を発見し、現在の偏見のないSGG評価を脆弱で不公平にする。
1) mR@K は述語間の相関を無視し、述語カテゴリーに関わらず、すべての三重項予測をまとめてランク付けするとカテゴリー独立性を損なうため、一部の述語のパフォーマンスが過小評価される。
2) mR@K は異なる述語の組成の多様性を無視し、構成可能な関係三重項型に制限された超単純なカテゴリサンプルに過剰に高い重みを割り当てる。
これはSGGタスクの目標と完全に矛盾し、モデルがより多くの種類の視覚的関係三重項を検出することを奨励する。
さらに,未偏りsggの単純かつ強固なベースラインとして機能する,オブジェクトと述語の間の未検討の相関について検討する。
本稿では,mR@Kを改良し,非バイアスSGG(Independent Mean Recall(IMR)と重み付きIMR(wIMR)の2つの相補的評価指標を提案する。
これら2つの指標はそれぞれ、構成可能な関係三重項のカテゴリ独立性と多様性を考慮して設計されている。
提案メトリクスとデファクト標準メトリクスを比較し,より信頼性の高い方法で非バイアスのSGGを評価するためのソリューションについて議論する。
関連論文リスト
- Mitigating Spurious Correlations via Disagreement Probability [4.8884049398279705]
経験的リスク最小化(ERM)で訓練されたモデルは、ターゲットラベルとバイアス属性の急激な相関に偏りがちである。
すべてのデータサンプルのモデル性能を堅牢に向上する訓練目標を導入する。
次に, バイアスラベルを必要としない脱バイアス法DPR(Disagreement Probability based Resampling for Debiasing)を導出する。
論文 参考訳（メタデータ） (2024-11-04T02:44:04Z) - Unsupervised Concept Discovery Mitigates Spurious Correlations [45.48778210340187]
トレーニングデータにおける急激な相関関係のモデルはしばしば脆い予測を発生させ、意図しないバイアスを導入する。
本稿では,教師なし対象中心学習と突発的相関の緩和の新たな関連性を確立する。
コバルト(CoBalT)は、サブグループの人間のラベル付けを必要とせず、効果的に素早い相関を緩和する概念バランス技術である。
論文 参考訳（メタデータ） (2024-02-20T20:48:00Z) - TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文 参考訳（メタデータ） (2023-10-29T09:54:03Z) - Compositional Feature Augmentation for Unbiased Scene Graph Generation [28.905732042942066]
シーングラフ生成(SGG)は、与えられた画像内のすべての視覚的関係三重項、pred、obj>を検出することを目的としている。
ユビキタスな長い尾の述語分布のため、今日のSGGモデルはいまだに頭部述語に偏っている。
本稿では, バイアス問題を緩和する最初の非バイアス型SGG作業である, 合成特徴増強(CFA)戦略を提案する。
論文 参考訳（メタデータ） (2023-08-13T08:02:14Z) - Balanced Classification: A Unified Framework for Long-Tailed Object
Detection [74.94216414011326]
従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。
本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。
BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
論文 参考訳（メタデータ） (2023-08-04T09:11:07Z) - NICEST: Noisy Label Correction and Training for Robust Scene Graph Generation [65.78472854070316]
我々は,SGG:NICESTのための新しいNoIsyラベルCorrEction and Sample Training戦略を提案する。
NICEはまずノイズのあるサンプルを検出し、さらに高品質な述語ラベルを割り当てる。
NICESTは任意のSGGアーキテクチャにシームレスに組み込んで、さまざまな述語カテゴリのパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2022-07-27T06:25:47Z) - CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。
CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。
我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
論文 参考訳（メタデータ） (2021-10-26T20:14:30Z) - PCPL: Predicate-Correlation Perception Learning for Unbiased Scene Graph
Generation [58.98802062945709]
本稿では,適切な損失重みを適応的に求めるための新しい述語相関知覚学習手法を提案する。
我々のPCPLフレームワークは、文脈特徴をよりよく抽出するグラフエンコーダモジュールも備えています。
論文 参考訳（メタデータ） (2020-09-02T08:30:09Z) - Tackling the Unannotated: Scene Graph Generation with Bias-Reduced
Models [8.904910414410855]
最先端の結果はまだ十分ではない。例えば、モデルが全体のリコールR@100で31%を得ることができる。
本稿では,自己学習型知識を活かした新しいSGG学習手法を提案する。
論文 参考訳（メタデータ） (2020-08-18T10:04:51Z) - Learning from Aggregate Observations [82.44304647051243]
本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。
本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。
単純な極大解は様々な微分可能なモデルに適用できる。
論文 参考訳（メタデータ） (2020-04-14T06:18:50Z) - AMR Similarity Metrics from Principles [21.915057426589748]
我々は、AMRのような意味表現と比較する指標を、研究者が原則的に評価できる基準を確立する。
偏差をわずかに意味することはより好意的であり、確立された全ての基準を満たすことを目標とする新しい計量 S$2$match を提案する。
論文 参考訳（メタデータ） (2020-01-29T16:19:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。