論文の概要: Prototype-based Embedding Network for Scene Graph Generation
- arxiv url: http://arxiv.org/abs/2303.07096v1
- Date: Mon, 13 Mar 2023 13:30:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 15:00:05.725690
- Title: Prototype-based Embedding Network for Scene Graph Generation
- Title（参考訳）: シーングラフ生成のためのプロトタイプベース埋め込みネットワーク
- Authors: Chaofan Zheng, Xinyu Lyu, Lianli Gao, Bo Dai, and Jingkuan Song
- Abstract要約: 現在のシーングラフ生成(SGG)手法は、コンテキスト情報を探索し、エンティティペア間の関係を予測する。
被写体と対象物の組み合わせが多様であるため、各述語カテゴリーには大きなクラス内変異が存在する。
プロトタイプベースのEmbedding Network (PE-Net) は、エンティティ/述語を、プロトタイプに準拠したコンパクトで独特な表現でモデル化する。
PLは、PE-Netがそのようなエンティティ述語マッチングを効率的に学習するのを助けるために導入され、不明瞭なエンティティ述語マッチングを緩和するためにプロトタイプ正規化(PR)が考案されている。
- 参考スコア（独自算出の注目度）: 105.97836135784794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current Scene Graph Generation (SGG) methods explore contextual information
to predict relationships among entity pairs. However, due to the diverse visual
appearance of numerous possible subject-object combinations, there is a large
intra-class variation within each predicate category, e.g., "man-eating-pizza,
giraffe-eating-leaf", and the severe inter-class similarity between different
classes, e.g., "man-holding-plate, man-eating-pizza", in model's latent space.
The above challenges prevent current SGG methods from acquiring robust features
for reliable relation prediction. In this paper, we claim that the predicate's
category-inherent semantics can serve as class-wise prototypes in the semantic
space for relieving the challenges. To the end, we propose the Prototype-based
Embedding Network (PE-Net), which models entities/predicates with
prototype-aligned compact and distinctive representations and thereby
establishes matching between entity pairs and predicates in a common embedding
space for relation recognition. Moreover, Prototype-guided Learning (PL) is
introduced to help PE-Net efficiently learn such entitypredicate matching, and
Prototype Regularization (PR) is devised to relieve the ambiguous
entity-predicate matching caused by the predicate's semantic overlap. Extensive
experiments demonstrate that our method gains superior relation recognition
capability on SGG, achieving new state-of-the-art performances on both Visual
Genome and Open Images datasets.
- Abstract（参考訳）: 現在のシーングラフ生成(sgg)メソッドは、エンティティペア間の関係を予測するためにコンテキスト情報を探索する。
しかし、様々な対象と対象の組合せの多様な視覚的外観のため、モデルの潜在空間において、各述語カテゴリー(例えば「マンホールディング・ピザ、キリン・ピザ・リーフ」)に大きなクラス内変異があり、また「マンホールディング・プレート、マン・イーティング・ピザ」など、異なるクラス間の深刻なクラス間類似性がある。
上記の課題は、現在のSGG法が信頼性の高い関係予測のために堅牢な特徴を得るのを防ぐ。
本稿では,その課題を解消するための意味空間において,述語が持つカテゴリーに内在する意味論がクラス指向のプロトタイプとして機能すると主張する。
そこで,本稿では,プロトタイプ指向のコンパクトかつ識別表現を用いたエンティティ/述語をモデル化し,関係認識のための共通埋め込み空間におけるエンティティ対と述語とのマッチングを確立するプロトタイプベース埋め込みネットワーク(pe-net)を提案する。
さらに,PE-Net がこのようなエンティティ述語マッチングを効率的に学習するのを助けるために,PL (Prototype-Guided Learning) を導入し,その意味的重複による曖昧なエンティティ述語マッチングを緩和するために,PR (Prototype Regularization) を考案した。
広汎な実験により,SGG上の関係認識能力が向上し,Visual Genome と Open Images の両方のデータセット上で,最先端のパフォーマンスが達成された。
関連論文リスト
- Semantic Diversity-aware Prototype-based Learning for Unbiased Scene Graph Generation [21.772806350802203]
シーングラフ生成(SGG)データセットでは、各対象物対に1つの述語をアノテートする。
既存のSGGモデルは、各ペアについてのみ述語を予測できるように訓練されている。
この結果、SGGモデルは述語に存在するかもしれない意味的多様性を見落としてしまう。
論文 参考訳（メタデータ） (2024-07-22T05:53:46Z) - RAPL: A Relation-Aware Prototype Learning Approach for Few-Shot
Document-Level Relation Extraction [35.246592734300414]
FSDLREのための関係認識型プロトタイプ学習手法を提案する。
提案手法は, 関係プロトタイプを効果的に改良し, タスク固有のNOTAプロトタイプを生成する。
論文 参考訳（メタデータ） (2023-10-24T11:35:23Z) - Decomposed Prototype Learning for Few-Shot Scene Graph Generation [28.796734816086065]
我々は、シーングラフ生成の新しい有望なタスク(SGG: few-shot SGG (FSSGG))に焦点を当てる。
FSSGGは、モデルが以前の知識を素早く伝達し、いくつかの例で新しい述語を認識することを奨励している。
本稿では,新しいDPL(Decomposed Prototype Learning)を提案する。
論文 参考訳（メタデータ） (2023-03-20T04:54:26Z) - A Prototypical Semantic Decoupling Method via Joint Contrastive Learning
for Few-Shot Name Entity Recognition [24.916377682689955]
名前付きエンティティ認識(NER)は、わずかにラベル付きインスタンスに基づいて名前付きエンティティを識別することを目的としている。
連立コントラスト学習(PSDC)を用いた数発NERのためのプロトタイプセマンティックデカップリング手法を提案する。
2つの数ショットのNERベンチマークによる実験結果から、PSDCは全体の性能において従来のSOTA法よりも一貫して優れていたことが示されている。
論文 参考訳（メタデータ） (2023-02-27T09:20:00Z) - Graph Adaptive Semantic Transfer for Cross-domain Sentiment
Classification [68.06496970320595]
クロスドメイン感情分類(CDSC)は、ソースドメインから学んだ伝達可能なセマンティクスを使用して、ラベルなしのターゲットドメインにおけるレビューの感情を予測することを目的としている。
本稿では、単語列と構文グラフの両方からドメイン不変セマンティクスを学習できる適応型構文グラフ埋め込み法であるグラフ適応意味伝達(GAST)モデルを提案する。
論文 参考訳（メタデータ） (2022-05-18T07:47:01Z) - Query Adaptive Few-Shot Object Detection with Heterogeneous Graph
Convolutional Networks [33.446875089255876]
Few-shot Object Detection (FSOD) は、いくつかの例を使って見えないオブジェクトを検出することを目的としている。
異種グラフ畳み込みネットワークを用いた新しいFSODモデルを提案する。
論文 参考訳（メタデータ） (2021-12-17T22:08:15Z) - Dual Prototypical Contrastive Learning for Few-shot Semantic
Segmentation [55.339405417090084]
本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。
第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。
提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-09T08:14:50Z) - Semantic Correspondence with Transformers [68.37049687360705]
本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。
初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。
提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
論文 参考訳（メタデータ） (2021-06-04T14:39:03Z) - Prototypical Representation Learning for Relation Extraction [56.501332067073065]
本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。
文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。
いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-03-22T08:11:43Z) - A Graph-based Interactive Reasoning for Human-Object Interaction
Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。
In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。
私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文 参考訳（メタデータ） (2020-07-14T09:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。