論文の概要: Fine-Grained Scene Graph Generation via Sample-Level Bias Prediction

• arxiv url: http://arxiv.org/abs/2407.19259v1
• Date: Sat, 27 Jul 2024 13:49:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 19:11:23.381944
• Title: Fine-Grained Scene Graph Generation via Sample-Level Bias Prediction
• Title（参考訳）: サンプルレベルバイアス予測による微粒なシーングラフ生成
• Authors: Yansheng Li, Tingzhu Wang, Kang Wu, Linlin Wang, Xin Guo, Wenbin Wang,
• Abstract要約: 微粒なシーングラフ生成のためのサンプルレベルバイアス予測(SBP)手法を提案する。 まず、古典的なSGGモデルを訓練し、補正バイアスセットを構築する。 そこで我々は,BGAN(Bias-Oriented Generative Adversarial Network)を考案し,構築した補正バイアスを予測する。
• 参考スコア（独自算出の注目度）: 12.319354506916547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene Graph Generation (SGG) aims to explore the relationships between objects in images and obtain scene summary graphs, thereby better serving downstream tasks. However, the long-tailed problem has adversely affected the scene graph's quality. The predictions are dominated by coarse-grained relationships, lacking more informative fine-grained ones. The union region of one object pair (i.e., one sample) contains rich and dedicated contextual information, enabling the prediction of the sample-specific bias for refining the original relationship prediction. Therefore, we propose a novel Sample-Level Bias Prediction (SBP) method for fine-grained SGG (SBG). Firstly, we train a classic SGG model and construct a correction bias set by calculating the margin between the ground truth label and the predicted label with one classic SGG model. Then, we devise a Bias-Oriented Generative Adversarial Network (BGAN) that learns to predict the constructed correction biases, which can be utilized to correct the original predictions from coarse-grained relationships to fine-grained ones. The extensive experimental results on VG, GQA, and VG-1800 datasets demonstrate that our SBG outperforms the state-of-the-art methods in terms of Average@K across three mainstream SGG models: Motif, VCtree, and Transformer. Compared to dataset-level correction methods on VG, SBG shows a significant average improvement of 5.6%, 3.9%, and 3.2% on Average@K for tasks PredCls, SGCls, and SGDet, respectively. The code will be available at https://github.com/Zhuzi24/SBG.
• Abstract（参考訳）: シーングラフ生成(SGG)は、画像内のオブジェクト間の関係を探索し、シーン概要グラフを得る。 しかし、長い尾の問題はシーングラフの品質に悪影響を及ぼしている。 予測は粗い粒度の関係が支配的であり、より情報的な粒度の細かい関係が欠如している。 1つのオブジェクトペア(つまり1つのサンプル)の結合領域は、リッチで専用のコンテキスト情報を含み、サンプル固有のバイアスの予測を可能にして、元の関係予測を精査する。 そこで本研究では,細粒度SGG(SBG)のためのサンプルレベルバイアス予測(SBP)手法を提案する。 まず,古典的SGGモデルを訓練し,古典的SGGモデルを用いて基底真理ラベルと予測ラベルとのマージンを計算することにより,補正バイアスセットを構築する。 そこで,BGAN(Bias-Oriented Generative Adversarial Network)を考案し,構成された補正バイアスの予測を学習し,粗粒度関係から細粒度関係への補正を行う。 VG,GQA,VG-1800データセットに関する広範な実験結果から,当社のSBGは,Average@Kの観点から,Motif,VCtree,Transformerの3つの主流SGGモデルにおいて,最先端の手法よりも優れていることが示されている。 VG上のデータセットレベルの補正手法と比較して、SBGは、それぞれPredCls、SGCls、SGDetのAverage@Kにおける5.6%、3.9%、および3.2%の大幅な平均改善を示している。 コードはhttps://github.com/Zhuzi24/SBG.comで入手できる。

関連論文リスト

• Improving Scene Graph Generation with Relation Words' Debiasing in Vision-Language Models [6.8754535229258975]
  シーングラフ生成(SGG)は、視覚シーンの基本的な言語表現を提供する。 テストトリプレットの一部は、トレーニング中に珍しいか、あるいは目に見えず、結果として予測される。 本稿では,事前学習された視覚言語モデル(VLM)を用いたSGGモデルを用いて表現を強化することを提案する。
  論文  参考訳（メタデータ） (2024-03-24T15:02:24Z)
• TD^2-Net: Toward Denoising and Debiasing for Dynamic Scene Graph Generation [76.24766055944554]
  動的SGGのデノベーションとデボアシングを目的としたネットワークTD$2$-Netを導入する。 TD$2$-Netは、述語分類における平均リコール@10で、第2位の競争相手を12.7%上回っている。
  論文  参考訳（メタデータ） (2024-01-23T04:17:42Z)
• Informative Scene Graph Generation via Debiasing [124.71164256146342]
  シーングラフ生成は、視覚的関係三重項(オブジェクト、述語、オブジェクト)を検出することを目的としている データのバイアスのため、現在のモデルは一般的な述語を予測する傾向がある。 本稿では,DB-SGGを提案する。
  論文  参考訳（メタデータ） (2023-08-10T02:04:01Z)
• CAME: Context-aware Mixture-of-Experts for Unbiased Scene Graph Generation [10.724516317292926]
  本稿では,CAME(Context-Aware Mixture-of-Experts)と呼ばれるシンプルな手法を提案する。 我々は、Visual Genomeデータセットの3つのタスクについて広範囲に実験を行い、従来の手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-08-15T10:39:55Z)
• Adaptive Fine-Grained Predicates Learning for Scene Graph Generation [122.4588401267544]
  一般的なシーングラフ生成(SGG)モデルは、頭部の述語を予測する傾向があり、再バランス戦略は尾のカテゴリを好む。 本稿では,SGGの難解な述語を識別することを目的とした適応的微粒述語学習(FGPL-A)を提案する。 提案したモデル非依存戦略は,VG-SGGおよびGQA-SGGデータセットのベンチマークモデルの性能を最大175%,Mean Recall@100では76%向上させ,新たな最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-11T03:37:57Z)
• Resistance Training using Prior Bias: toward Unbiased Scene Graph Generation [47.69807004675605]
  SGG(Scene Graph Generation)は、オブジェクトとペア関係を使ってシーンの構造的表現を構築することを目的としている。 シーングラフ生成のための先行バイアス(RTPB)を用いた抵抗トレーニングを提案する。 RTPBは,現在のSGG法に適用した場合,平均リコールで10%以上の改善を実現している。
  論文  参考訳（メタデータ） (2022-01-18T07:48:55Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Unbiased Scene Graph Generation from Biased Training [99.88125954889937]
  因果推論に基づく新しいSGGフレームワークを提案するが、従来の可能性ではない。 トレーニングされたグラフから反ファクト因果関係を抽出し、悪バイアスから影響を推測する。 特に,無バイアスSGGに対する最終述語スコアとしてTotal Direct Effect(TDE)を用いる。
  論文  参考訳（メタデータ） (2020-02-27T07:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。