論文の概要: Graph Density-Aware Losses for Novel Compositions in Scene Graph
Generation
- arxiv url: http://arxiv.org/abs/2005.08230v2
- Date: Tue, 18 Aug 2020 00:47:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 05:16:13.826213
- Title: Graph Density-Aware Losses for Novel Compositions in Scene Graph
Generation
- Title（参考訳）: シーングラフ生成における新規合成のためのグラフ密度認識損失
- Authors: Boris Knyazev, Harm de Vries, C\u{a}t\u{a}lina Cangea, Graham W.
Taylor, Aaron Courville, Eugene Belilovsky
- Abstract要約: シーングラフ生成は、入力画像のグラフ構造記述を予測することを目的としている。
新規な(ゼロショット)または稀な(2ショット)オブジェクトとリレーションシップの合成をうまく行うことは、重要だが、難しい。
このタスクで使用される標準損失は、意図せずにシーングラフ密度の関数であることを示す。
密度正規化エッジロスを導入し、特定の一般化指標を2倍以上に改善する。
- 参考スコア（独自算出の注目度）: 27.535630110794855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scene graph generation (SGG) aims to predict graph-structured descriptions of
input images, in the form of objects and relationships between them. This task
is becoming increasingly useful for progress at the interface of vision and
language. Here, it is important - yet challenging - to perform well on novel
(zero-shot) or rare (few-shot) compositions of objects and relationships. In
this paper, we identify two key issues that limit such generalization. Firstly,
we show that the standard loss used in this task is unintentionally a function
of scene graph density. This leads to the neglect of individual edges in large
sparse graphs during training, even though these contain diverse few-shot
examples that are important for generalization. Secondly, the frequency of
relationships can create a strong bias in this task, such that a blind model
predicting the most frequent relationship achieves good performance.
Consequently, some state-of-the-art models exploit this bias to improve
results. We show that such models can suffer the most in their ability to
generalize to rare compositions, evaluating two different models on the Visual
Genome dataset and its more recent, improved version, GQA. To address these
issues, we introduce a density-normalized edge loss, which provides more than a
two-fold improvement in certain generalization metrics. Compared to other works
in this direction, our enhancements require only a few lines of code and no
added computational cost. We also highlight the difficulty of accurately
evaluating models using existing metrics, especially on zero/few shots, and
introduce a novel weighted metric.
- Abstract（参考訳）: シーングラフ生成(SGG)は、入力画像のグラフ構造記述をオブジェクトの形式で予測することを目的としている。
このタスクは、視覚と言語のインターフェイスの進歩に益々役に立ちつつある。
ここでは、新しい(ゼロショット)または稀な(2ショット)オブジェクトとリレーションシップの合成をうまく行うことが重要だが、難しい。
本稿では,そのような一般化を制限する2つの重要な問題を明らかにする。
まず,本課題における標準損失は意図せずシーングラフ密度の関数であることを示す。
このことは、訓練中に大きなスパースグラフにおいて個々のエッジを無視することにつながるが、これらには一般化に重要な様々な少数ショット例が含まれている。
第二に、関係の頻度は、最も頻繁な関係を予測するブラインドモデルが良いパフォーマンスを達成するように、このタスクに強いバイアスをもたらす。
その結果、いくつかの最先端モデルは、このバイアスを利用して結果を改善する。
我々は,このようなモデルがレアな構成に一般化する能力に最も苦しむ可能性を示し,視覚ゲノムデータセットとより最近の改良版であるgqaの2つの異なるモデルを評価した。
これらの問題に対処するために、密度正規化エッジロスを導入し、特定の一般化指標を2倍以上に改善する。
この方向の他の作業と比較すると、拡張にはほんの数行のコードしか必要とせず、計算コストも加えません。
また,既存の測定値,特に0/fewショットを用いたモデルを正確に評価することの難しさを強調し,新しい重み付き測定値を導入する。
関連論文リスト
- Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。
このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。
また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
論文 参考訳（メタデータ） (2025-01-01T08:48:53Z) - Fine-Grained is Too Coarse: A Novel Data-Centric Approach for Efficient
Scene Graph Generation [0.7851536646859476]
本稿では,関連性の生成を優先するSGG(Efficient Scene Graph Generation)の課題を紹介する。
我々は、人気のあるVisual Genomeデータセットのアノテーションに基づいて、新しいデータセットVG150をキュレートする。
我々は、このデータセットが通常SGGで使用されるものよりも高品質で多様なアノテーションを含んでいることを示す一連の実験を通して示す。
論文 参考訳（メタデータ） (2023-05-30T00:55:49Z) - Rethinking Explaining Graph Neural Networks via Non-parametric Subgraph
Matching [68.35685422301613]
そこで我々はMatchExplainerと呼ばれる新しい非パラメトリックな部分グラフマッチングフレームワークを提案し、説明的部分グラフを探索する。
ターゲットグラフと他のインスタンスを結合し、ノードに対応する距離を最小化することで最も重要な結合部分構造を識別する。
合成および実世界のデータセットの実験は、最先端のパラメトリックベースラインをかなりのマージンで上回り、MatchExplainerの有効性を示す。
論文 参考訳（メタデータ） (2023-01-07T05:14:45Z) - DAGAD: Data Augmentation for Graph Anomaly Detection [57.92471847260541]
本稿では、属性グラフのための新しいデータ拡張ベースのグラフ異常検出(DAGAD)フレームワークを考案する。
3つのデータセットに関する一連の実験は、DAGADが様々な主に使用されるメトリクスに関して、10の最先端のベースライン検出器より優れていることを証明している。
論文 参考訳（メタデータ） (2022-10-18T11:28:21Z) - Investigating Neighborhood Modeling and Asymmetry Preservation in
Digraph Representation Learning [12.406793386672208]
Digraph Hyperbolic Network (D-HYPR) は、実世界のダイグラフの構造的・意味的歪みを避けるために、双曲空間におけるノード表現を学習する。
コードとデータは利用可能です。
論文 参考訳（メタデータ） (2021-12-22T08:50:55Z) - Graph-LDA: Graph Structure Priors to Improve the Accuracy in Few-Shot
Classification [6.037383467521294]
本稿では、2つのノイズ源で観測されたクラス信号が劣化することが想定されるジェネリックモデルを提案する。
このような信号を分類する最適な手法を導出する。
この手法には単一のパラメータが含まれており、利用可能なデータが不足している場合に特に適している。
論文 参考訳（メタデータ） (2021-08-23T21:55:45Z) - A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。
AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。
本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
論文 参考訳（メタデータ） (2021-05-22T07:05:48Z) - Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
グラフ組み込み数ショット学習に関する包括的な研究を紹介します。
本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。
提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
論文 参考訳（メタデータ） (2021-02-14T05:28:13Z) - Structural Information Preserving for Graph-to-Text Generation [59.00642847499138]
グラフ・トゥ・テキスト生成の課題は、入力グラフの意味を保存した文を生成することである。
入力情報を保存するためのモデルとして,より豊かなトレーニング信号を活用することで,この問題に取り組むことを提案する。
グラフからテキストへの生成のための2つのベンチマークに関する実験は、最先端のベースラインに対するアプローチの有効性を示しています。
論文 参考訳（メタデータ） (2021-02-12T20:09:01Z) - Generative Compositional Augmentations for Scene Graph Prediction [27.535630110794855]
シーングラフの形で画像からオブジェクトとその関係を推定することは、視覚と言語を交わす多くのアプリケーションで有用である。
本稿では,この課題において,長い尾データ分布から生じる合成一般化の課題について考察する。
本研究では,条件付き生成逆数ネットワーク(GAN)に基づくモデルの提案と実証研究を行い,乱れたシーングラフの視覚的特徴を生成する。
論文 参考訳（メタデータ） (2020-07-11T12:11:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。