論文の概要: Dual ResGCN for Balanced Scene GraphGeneration

• arxiv url: http://arxiv.org/abs/2011.04234v1
• Date: Mon, 9 Nov 2020 07:44:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 01:17:35.036441
• Title: Dual ResGCN for Balanced Scene GraphGeneration
• Title（参考訳）: バランスの取れたシーングラフ生成のためのデュアルResGCN
• Authors: Jingyi Zhang, Yong Zhang, Baoyuan Wu, Yanbo Fan, Fumin Shen and Heng Tao Shen
• Abstract要約: 本稿では,オブジェクト残差グラフ畳み込みネットワークと関係残差グラフ畳み込みネットワークからなる新しいモデルであるtextitdual ResGCNを提案する。 2つのネットワークは相互に補完的であり、前者はオブジェクトレベルのコンテキスト情報、すなわちオブジェクト間の接続をキャプチャする。 後者は、関係レベルのコンテキスト情報、すなわち関係間の関係を明示的にキャプチャするように設計されている。
• 参考スコア（独自算出の注目度）: 106.7828712878278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual scene graph generation is a challenging task. Previous works have achieved great progress, but most of them do not explicitly consider the class imbalance issue in scene graph generation. Models learned without considering the class imbalance tend to predict the majority classes, which leads to a good performance on trivial frequent predicates, but poor performance on informative infrequent predicates. However, predicates of minority classes often carry more semantic and precise information~(\textit{e.g.}, \emph{`on'} v.s \emph{`parked on'}). % which leads to a good score of recall, but a poor score of mean recall. To alleviate the influence of the class imbalance, we propose a novel model, dubbed \textit{dual ResGCN}, which consists of an object residual graph convolutional network and a relation residual graph convolutional network. The two networks are complementary to each other. The former captures object-level context information, \textit{i.e.,} the connections among objects. We propose a novel ResGCN that enhances object features in a cross attention manner. Besides, we stack multiple contextual coefficients to alleviate the imbalance issue and enrich the prediction diversity. The latter is carefully designed to explicitly capture relation-level context information \textit{i.e.,} the connections among relations. We propose to incorporate the prior about the co-occurrence of relation pairs into the graph to further help alleviate the class imbalance issue. Extensive evaluations of three tasks are performed on the large-scale database VG to demonstrate the superiority of the proposed method.
• Abstract（参考訳）: ビジュアルシーングラフ生成は難しいタスクです。 以前の作品は大きな進歩を遂げているが、ほとんどの作品はシーングラフ生成におけるクラス不均衡の問題を明確に考慮していない。 クラスの不均衡を考慮せずに学習したモデルは、多数派クラスを予測しがちであり、単純な頻繁な述語では良いパフォーマンスをもたらすが、有益でない述語ではパフォーマンスが低くなる。 しかしながら、マイノリティクラスの述語は、より意味的で正確な情報~(\textit{e.g.}, \emph{`on'} v.s \emph{`parked on'})を持っていることが多い。 %であり, 高いリコール率を得たが, 平均リコール率の低かった。 クラス不均衡の影響を軽減するため,オブジェクト残差グラフ畳み込みネットワークと関係残差グラフ畳み込みネットワークからなる新しいモデルである「textit{dual ResGCN}」を提案する。 2つのネットワークは互いに補完的です。 前者はオブジェクト間の接続をオブジェクトレベルのコンテキスト情報であるtextit{i.e.}をキャプチャする。 本稿では,オブジェクトの特徴を横断的に拡張するResGCNを提案する。 さらに,不均衡問題を緩和し,予測の多様性を高めるために,複数の文脈係数を積み重ねる。 後者は、関係レベルのコンテキスト情報 \textit{i} を、関係間の接続を明示的にキャプチャするように慎重に設計されている。 本稿では,関係ペアの共起をグラフに組み込むことにより,クラス不均衡問題を軽減することを提案する。 大規模データベースVG上で3つのタスクの大規模評価を行い,提案手法の優位性を実証した。

関連論文リスト

• Redundancy-Free Self-Supervised Relational Learning for Graph Clustering [13.176413653235311]
  冗長フリーグラフクラスタリング(R$2$FGC)という,自己教師付き深層グラフクラスタリング手法を提案する。 オートエンコーダとグラフオートエンコーダに基づいて,グローバルビューとローカルビューの両方から属性レベルと構造レベルの関係情報を抽出する。 この実験は,R$2$FGCが最先端のベースラインよりも優れていることを示すために,広く使用されているベンチマークデータセット上で実施されている。
  論文  参考訳（メタデータ） (2023-09-09T06:18:50Z)
• Multi-Label Meta Weighting for Long-Tailed Dynamic Scene Graph Generation [55.429541407920304]
  対象と対象のペア間の述語認識は、本質的に不均衡であり、複数ラベルである。 最近の最先端の手法は、主に最も頻繁に発生する述語クラスに焦点を当てている。 偏りのある述語分布を扱うために,多言語メタラーニングフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-06-16T18:14:23Z)
• Learnable Graph Matching: A Practical Paradigm for Data Association [74.28753343714858]
  これらの問題に対処するための一般的な学習可能なグラフマッチング法を提案する。 提案手法は,複数のMOTデータセット上での最先端性能を実現する。 画像マッチングでは,一般的な屋内データセットであるScanNetで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-03-27T17:39:00Z)
• Unbiased Heterogeneous Scene Graph Generation with Relation-aware Message Passing Neural Network [9.779600950401315]
  関係認識コンテキストをキャプチャする不偏不均質なシーングラフ生成(HetSGG)フレームワークを提案する。 我々は、画像のコンテキスト情報を集約するRMP(Relation-Aware Message Passing Neural Network)と呼ばれる新しいメッセージパッシング層を考案した。
  論文  参考訳（メタデータ） (2022-12-01T11:25:36Z)
• Explanation Graph Generation via Pre-trained Language Models: An Empirical Study with Contrastive Learning [84.35102534158621]
  エンドツーエンドで説明グラフを生成する事前学習言語モデルについて検討する。 本稿では,ノードとエッジの編集操作によるグラフ摂動の簡易かつ効果的な方法を提案する。 提案手法は,説明グラフの構造的精度と意味的精度を両立させる。
  論文  参考訳（メタデータ） (2022-04-11T00:58:27Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Semi-Supervised Graph-to-Graph Translation [31.47555366566109]
  グラフ翻訳は有望な研究の方向性であり、現実世界に広く応用できる可能性がある。 重要な理由のひとつは、高品質なペアデータセットがないことだ。 意味遷移をモデル化するために変換を明示的に行う双対表現空間を構築することを提案する。
  論文  参考訳（メタデータ） (2021-03-16T03:24:20Z)
• Generative Compositional Augmentations for Scene Graph Prediction [27.535630110794855]
  シーングラフの形で画像からオブジェクトとその関係を推定することは、視覚と言語を交わす多くのアプリケーションで有用である。 本稿では,この課題において,長い尾データ分布から生じる合成一般化の課題について考察する。 本研究では,条件付き生成逆数ネットワーク(GAN)に基づくモデルの提案と実証研究を行い,乱れたシーングラフの視覚的特徴を生成する。
  論文  参考訳（メタデータ） (2020-07-11T12:11:53Z)
• Graph Density-Aware Losses for Novel Compositions in Scene Graph Generation [27.535630110794855]
  シーングラフ生成は、入力画像のグラフ構造記述を予測することを目的としている。 新規な(ゼロショット)または稀な(2ショット)オブジェクトとリレーションシップの合成をうまく行うことは、重要だが、難しい。 このタスクで使用される標準損失は、意図せずにシーングラフ密度の関数であることを示す。 密度正規化エッジロスを導入し、特定の一般化指標を2倍以上に改善する。
  論文  参考訳（メタデータ） (2020-05-17T11:45:29Z)
• Iterative Context-Aware Graph Inference for Visual Dialog [126.016187323249]
  本稿では,新しいコンテキスト認識グラフ(CAG)ニューラルネットワークを提案する。 グラフの各ノードは、オブジェクトベース(視覚)と履歴関連(テキスト)コンテキスト表現の両方を含む、共同意味機能に対応している。
  論文  参考訳（メタデータ） (2020-04-05T13:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。