論文の概要: Unbiased Scene Graph Generation via Rich and Fair Semantic Extraction
- arxiv url: http://arxiv.org/abs/2002.00176v1
- Date: Sat, 1 Feb 2020 09:28:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 01:05:40.797185
- Title: Unbiased Scene Graph Generation via Rich and Fair Semantic Extraction
- Title（参考訳）: リッチおよびフェアセマンティック抽出によるアンバイアスなシーングラフ生成
- Authors: Bin Wen, Jie Luo, Xianglong Liu, Lei Huang
- Abstract要約: 我々はRich and Fairセマンティック抽出ネットワーク(RiFa)という新しいシンプルなアーキテクチャを提案する。
RiFaは、ある文脈領域における実体の視覚的特徴と意味的特徴の両方に基づいて主観的対象関係を予測する。
人気のあるVisual Genomeデータセットの実験は、RiFaが最先端のパフォーマンスを達成することを示している。
- 参考スコア（独自算出の注目度）: 42.37557498737781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Extracting graph representation of visual scenes in image is a challenging
task in computer vision. Although there has been encouraging progress of scene
graph generation in the past decade, we surprisingly find that the performance
of existing approaches is largely limited by the strong biases, which mainly
stem from (1) unconsciously assuming relations with certain semantic properties
such as symmetric and (2) imbalanced annotations over different relations. To
alleviate the negative effects of these biases, we proposed a new and simple
architecture named Rich and Fair semantic extraction network (RiFa for short),
to not only capture rich semantic properties of the relations, but also fairly
predict relations with different scale of annotations. Using pseudo-siamese
networks, RiFa embeds the subject and object respectively to distinguish their
semantic differences and meanwhile preserve their underlying semantic
properties. Then, it further predicts subject-object relations based on both
the visual and semantic features of entities under certain contextual area, and
fairly ranks the relation predictions for those with a few annotations.
Experiments on the popular Visual Genome dataset show that RiFa achieves
state-of-the-art performance under several challenging settings of scene graph
task. Especially, it performs significantly better on capturing different
semantic properties of relations, and obtains the best overall per relation
performance.
- Abstract（参考訳）: 画像中の視覚シーンのグラフ表現を抽出することは、コンピュータビジョンにおいて難しい課題である。
過去10年間,シーングラフの生成が活発化してきたが,既存の手法の性能は,(1)対称性や(2)異なる関係性に対する不均衡アノテーションといった特定の意味的特性との無意識な関係を前提とする強いバイアスによって大きく制限されている。
これらのバイアスの悪影響を緩和するため,我々は,リレーションの豊富な意味的性質を捉えるだけでなく,アノテーションのスケールの異なる関係をかなり予測するために,rich and fair semantic extraction network (rifa) という新しいシンプルなアーキテクチャを提案した。
擬似テーマネットワークを用いて、RiFaは主題とオブジェクトをそれぞれ埋め込み、それらの意味的差異を識別し、その一方でその基盤となる意味的特性を保持する。
さらに、ある文脈領域における実体の視覚的特徴と意味的特徴に基づいて主観的対象関係を予測し、いくつかのアノテーションを持つ者の関係予測を適切にランク付けする。
人気のあるVisual Genomeデータセットの実験によると、RiFaはシーングラフタスクのいくつかの困難な設定の下で最先端のパフォーマンスを達成する。
特に,関係の異なるセマンティックな特性の取得に優れ,関係の全体的性能が最高のものとなる。
関連論文リスト
- Situational Scene Graph for Structured Human-centric Situation Understanding [15.91717913059569]
本研究では,人的対象関係とそれに対応する意味特性の両方をエンコードするために,SSGというグラフベースの表現を提案する。
セマンティックディテールは、当初単一のアクションを表現するように設計された状況フレームにインスパイアされた、事前に定義された役割と値として表現される。
間もなくコードとデータセットをリリースします。
論文 参考訳（メタデータ） (2024-10-30T09:11:25Z) - Explainable Representations for Relation Prediction in Knowledge Graphs [0.0]
本稿では、知識グラフにおける関係予測を支援するための説明可能な表現のための新しいアプローチであるSEEKを提案する。
それは、エンティティと各サブグラフの学習表現の間の関連する共有意味的側面を識別することに基づいている。
本研究では,タンパク質間相互作用予測と遺伝子発現関連予測の2つの実世界の関係予測タスクについてSEEKを評価した。
論文 参考訳（メタデータ） (2023-06-22T06:18:40Z) - Sparse Relational Reasoning with Object-Centric Representations [78.83747601814669]
対象中心表現の操作において,リレーショナルニューラルアーキテクチャによって学習されたソフトルールの構成可能性について検討する。
特に特徴量の増加は,いくつかのモデルの性能を向上し,より単純な関係をもたらすことが判明した。
論文 参考訳（メタデータ） (2022-07-15T14:57:33Z) - Good Visual Guidance Makes A Better Extractor: Hierarchical Visual
Prefix for Multimodal Entity and Relation Extraction [88.6585431949086]
本稿では,視覚的な実体と関係抽出のための階層型ビジュアルプレフィックス融合NeTwork(HVPNeT)を提案する。
視覚的表現をプラグ可能な視覚的接頭辞とみなして, 誤りに敏感な予測決定のためのテキスト的表現を導出する。
3つのベンチマークデータセットの実験により,本手法の有効性が実証され,最先端の性能が得られた。
論文 参考訳（メタデータ） (2022-05-07T02:10:55Z) - FactGraph: Evaluating Factuality in Summarization with Semantic Graph
Representations [114.94628499698096]
文書と要約を構造化された意味表現(MR)に分解するFactGraphを提案する。
MRは、コアセマンティックの概念とその関係を記述し、文書と要約の両方の主要な内容を標準形式で集約し、データの疎結合を減少させる。
事実性を評価するための異なるベンチマークの実験では、FactGraphは以前のアプローチよりも最大15%優れていた。
論文 参考訳（メタデータ） (2022-04-13T16:45:33Z) - Biasing Like Human: A Cognitive Bias Framework for Scene Graph
Generation [20.435023745201878]
本稿では,視覚に基づく表現のガイダンスとして,人間がラベル言語の特徴をどのように取り入れるかをシミュレートする,新しい3パラダイムフレームワークを提案する。
私たちのフレームワークはどんなシーングラフモデルにも依存しません。
論文 参考訳（メタデータ） (2022-03-17T08:29:52Z) - Semantic Compositional Learning for Low-shot Scene Graph Generation [122.51930904132685]
多くのシーングラフ生成(SGG)モデルは、トレーニングに限定された注釈付き関係トリプルのみを使用する。
本稿では,新たな意味論的構成学習戦略を提案する。
最近の3つのSGGモデルでは、我々の戦略を追加することで、その性能が50%近く向上する。
論文 参考訳（メタデータ） (2021-08-19T10:13:55Z) - Semi-Supervised Graph-to-Graph Translation [31.47555366566109]
グラフ翻訳は有望な研究の方向性であり、現実世界に広く応用できる可能性がある。
重要な理由のひとつは、高品質なペアデータセットがないことだ。
意味遷移をモデル化するために変換を明示的に行う双対表現空間を構築することを提案する。
論文 参考訳（メタデータ） (2021-03-16T03:24:20Z) - Adaptive Attentional Network for Few-Shot Knowledge Graph Completion [16.722373937828117]
Few-shot Knowledge Graph (KG) の完成は、現在の研究の焦点であり、各タスクは、数少ない参照エンティティペアを考えると、関係の見えない事実をクエリすることを目的としている。
最近の試みでは、エンティティと参照の静的表現を学習し、それらの動的特性を無視してこの問題を解決している。
本研究は,適応実体と参照表現を学習することにより,数ショットのKG補完のための適応的注意ネットワークを提案する。
論文 参考訳（メタデータ） (2020-10-19T16:27:48Z) - Probing Linguistic Features of Sentence-Level Representations in Neural
Relation Extraction [80.38130122127882]
ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。
私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。
アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
論文 参考訳（メタデータ） (2020-04-17T09:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。