論文の概要: Tackling the Unannotated: Scene Graph Generation with Bias-Reduced
Models
- arxiv url: http://arxiv.org/abs/2008.07832v1
- Date: Tue, 18 Aug 2020 10:04:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 21:04:47.845170
- Title: Tackling the Unannotated: Scene Graph Generation with Bias-Reduced
Models
- Title(参考訳): バイアス低減モデルを用いた無注:シーングラフ生成
- Authors: Tzu-Jui Julius Wang, Selen Pehlivan, Jorma Laaksonen
- Abstract要約: 最先端の結果はまだ十分ではない。例えば、モデルが全体のリコールR@100で31%を得ることができる。
本稿では,自己学習型知識を活かした新しいSGG学習手法を提案する。
- 参考スコア(独自算出の注目度): 8.904910414410855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predicting a scene graph that captures visual entities and their interactions
in an image has been considered a crucial step towards full scene
comprehension. Recent scene graph generation (SGG) models have shown their
capability of capturing the most frequent relations among visual entities.
However, the state-of-the-art results are still far from satisfactory, e.g.
models can obtain 31% in overall recall R@100, whereas the likewise important
mean class-wise recall mR@100 is only around 8% on Visual Genome (VG). The
discrepancy between R and mR results urges to shift the focus from pursuing a
high R to a high mR with a still competitive R. We suspect that the observed
discrepancy stems from both the annotation bias and sparse annotations in VG,
in which many visual entity pairs are either not annotated at all or only with
a single relation when multiple ones could be valid. To address this particular
issue, we propose a novel SGG training scheme that capitalizes on self-learned
knowledge. It involves two relation classifiers, one offering a less biased
setting for the other to base on. The proposed scheme can be applied to most of
the existing SGG models and is straightforward to implement. We observe
significant relative improvements in mR (between +6.6% and +20.4%) and
competitive or better R (between -2.4% and 0.3%) across all standard SGG tasks.
- Abstract(参考訳): 画像中の視覚的実体とその相互作用をキャプチャするシーングラフの予測は、シーン全体を理解するための重要なステップと考えられている。
最近のシーングラフ生成(sgg)モデルは、視覚エンティティ間の最も頻繁な関係を捉える能力を示している。
しかし、最先端の結果はまだ満足できない。例えば、モデルが全体のリコールR@100で31%を獲得できるのに対して、クラスのリコールmR@100はVisual Genome(VG)で8%程度しか得られない。
RとmRの結果の相違は、高いRを追求する点から、高いmRに焦点を移すことを促す。我々は、観察された相違点がVGのアノテーションバイアスとスパースアノテーションの両方に由来すると推測する。
そこで本研究では,自己学習型知識を活用した新しいSGG学習手法を提案する。
これは2つの関係分類器を含み、1つはバイアスの少ない設定を提供し、もう1つはベースとなる。
提案手法は既存のSGGモデルの多くに適用可能であり,実装が容易である。
我々は、mR(+6.6%と+20.4%)とR(-2.4%と0.3%)を標準のSGGタスクで比較した。
関連論文リスト
- DSGG: Dense Relation Transformer for an End-to-end Scene Graph Generation [13.058196732927135]
シーングラフ生成は、画像内のオブジェクト間の詳細な空間的および意味的な関係をキャプチャすることを目的としている。
既存のTransformerベースのメソッドは、オブジェクトに対して異なるクエリを使用し、述語するか、関係トリプレットに対して全体的クエリを利用する。
本稿では,シーングラフ検出を直接グラフ予測問題とみなす,DSGGと呼ばれるトランスフォーマーベースの新しい手法を提案する。
論文 参考訳(メタデータ) (2024-03-21T23:43:30Z) - Identity-Seeking Self-Supervised Representation Learning for
Generalizable Person Re-identification [55.1738496692892]
従来のDG ReID法では、アノテーションのコストが高いため、トレーニングにラベル付きデータを限定的に使用していた。
本稿では,ISR(Identity-seeking Self-supervised Representation Learning)法を提案する。
ISRは、最大重み付き二部マッチング問題としてインスタンスアソシエーションをモデル化することにより、フレーム間画像から正のペアを構築する。
ISRは市場1501で87.0%、MSMT17で56.4%、それぞれ5.0%、19.5%となっている。
論文 参考訳(メタデータ) (2023-08-17T09:46:27Z) - Towards Unseen Triples: Effective Text-Image-joint Learning for Scene
Graph Generation [30.79358827005448]
SGG(Scene Graph Generation)は、画像内のオブジェクトとその接続を構造的かつ包括的に表現することを目的としている。
既存のSGGモデルは、バイアス付きデータセットによって引き起こされる長い尾の問題を解決するのに苦労することが多い。
テキスト画像結合Scene Graph Generation (TISGG) モデルを提案する。
論文 参考訳(メタデータ) (2023-06-23T10:17:56Z) - Rethinking the Evaluation of Unbiased Scene Graph Generation [31.041074897404236]
シーングラフ生成(SGG)手法は、頻繁な述語カテゴリを予測し、稀なカテゴリを認識できない傾向にある。
最近の研究では、偏見のないSGGに焦点が当てられ、Recall@Kを主要な評価基準として採用している。
Independent Mean Recall(IMR)とheighted IMR(wIMR)の2つの相補的評価指標を提案する。
論文 参考訳(メタデータ) (2022-08-03T08:23:51Z) - Fine-Grained Predicates Learning for Scene Graph Generation [155.48614435437355]
Fine-Grained Predicates Learningは、シーングラフ生成タスクにおいて、識別困難な述語間の差別化を目的としている。
本稿では,SGGモデルによる詳細な述語ペアの探索を支援するPredicate Latticeを提案する。
次に、カテゴリ識別損失とエンティティ識別損失を提案し、どちらも粒度の細かい述語の識別に寄与する。
論文 参考訳(メタデータ) (2022-04-06T06:20:09Z) - Hyper-relationship Learning Network for Scene Graph Generation [95.6796681398668]
本稿では,シーングラフ生成のためのハイパーリレーショナル学習ネットワークHLNを提案する。
我々は最も人気のあるSGGデータセット、すなわちVisual Genomeデータセット上でHLNを評価する。
例えば、提案されたHLNは、関係ごとのリコールを11.3%から13.1%に改善し、画像毎のリコールを19.8%から34.9%に維持する。
論文 参考訳(メタデータ) (2022-02-15T09:26:16Z) - Not All Relations are Equal: Mining Informative Labels for Scene Graph
Generation [48.21846438269506]
シーングラフ生成(SGG)は、オブジェクトのペア間の多様な相互作用をキャプチャすることを目的としている。
既存のSGG法では、トレーニングデータに様々なバイアスがあるため、視覚的およびテキスト的相関に関する複雑な推論が得られない。
本稿では,その情報性に基づいて関係ラベルを利用するSGGトレーニングのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-11-26T14:34:12Z) - From General to Specific: Informative Scene Graph Generation via Balance
Adjustment [113.04103371481067]
現在のモデルは、情報的なモデルではなく、例えば"on"や"at"といった一般的な述語に留まっている。
本稿では,バランス調整に基づくフレームワークであるBA-SGGを提案する。
提案手法は,視覚ゲノム上の3つのシーングラフ生成サブタスクにおいて,トランスフォーマーモデルよりも14.3%,8.0%,および6.1%高い平均リコール(mR)を実現する。
論文 参考訳(メタデータ) (2021-08-30T11:39:43Z) - Semantic Compositional Learning for Low-shot Scene Graph Generation [122.51930904132685]
多くのシーングラフ生成(SGG)モデルは、トレーニングに限定された注釈付き関係トリプルのみを使用する。
本稿では,新たな意味論的構成学習戦略を提案する。
最近の3つのSGGモデルでは、我々の戦略を追加することで、その性能が50%近く向上する。
論文 参考訳(メタデータ) (2021-08-19T10:13:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。