論文の概要: Graph-based Visual-Semantic Entanglement Network for Zero-shot Image
Recognition
- arxiv url: http://arxiv.org/abs/2006.04648v2
- Date: Sat, 12 Jun 2021 01:21:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 01:44:56.543320
- Title: Graph-based Visual-Semantic Entanglement Network for Zero-shot Image
Recognition
- Title(参考訳): ゼロショット画像認識のためのグラフベース視覚インタグルメントネットワーク
- Authors: Yang Hu, Guihua Wen, Adriane Chapman, Pei Yang, Mingnan Luo, Yingxue
Xu, Dan Dai, Wendy Hall
- Abstract要約: 視覚特徴のグラフモデリングを行うためのグラフベースビジュアルセマンティックエンタングルメントネットワークを提案する。
提案手法は,複数の代表的ZSLデータセットに対する最先端手法よりも優れている。
- 参考スコア(独自算出の注目度): 17.622748458955595
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Zero-shot learning uses semantic attributes to connect the search space of
unseen objects. In recent years, although the deep convolutional network brings
powerful visual modeling capabilities to the ZSL task, its visual features have
severe pattern inertia and lack of representation of semantic relationships,
which leads to severe bias and ambiguity. In response to this, we propose the
Graph-based Visual-Semantic Entanglement Network to conduct graph modeling of
visual features, which is mapped to semantic attributes by using a knowledge
graph, it contains several novel designs: 1. it establishes a multi-path
entangled network with the convolutional neural network (CNN) and the graph
convolutional network (GCN), which input the visual features from CNN to GCN to
model the implicit semantic relations, then GCN feedback the graph modeled
information to CNN features; 2. it uses attribute word vectors as the target
for the graph semantic modeling of GCN, which forms a self-consistent
regression for graph modeling and supervise GCN to learn more personalized
attribute relations; 3. it fuses and supplements the hierarchical
visual-semantic features refined by graph modeling into visual embedding. Our
method outperforms state-of-the-art approaches on multiple representative ZSL
datasets: AwA2, CUB, and SUN by promoting the semantic linkage modelling of
visual features.
- Abstract(参考訳): ゼロショット学習は、セマンティクス属性を使用して、見えないオブジェクトの検索空間を接続する。
近年、深層畳み込みネットワークはZSLタスクに強力なビジュアルモデリング機能をもたらすが、その視覚的特徴は深刻なパターン慣性を持ち、意味的関係の表現が欠如しており、重大なバイアスと曖昧さをもたらす。
これに対応するために,知識グラフを用いて意味属性にマッピングされた視覚特徴のグラフモデリングを行うための,グラフベースのビジュアル・セマンティクスの絡み合いネットワークを提案する。
1. 畳み込みニューラルネットワーク(CNN)とグラフ畳み込みネットワーク(GCN)を備えたマルチパス絡み合いネットワークを構築し、暗黙的な意味関係をモデル化するためにCNNからGCNに視覚的特徴を入力し、GCNはCNN特徴にグラフモデル情報をフィードバックする。
2. 属性ワードベクトルをGCNのグラフ意味モデリングのターゲットとし、グラフモデリングのための自己整合回帰を形成し、GCNを監督し、よりパーソナライズされた属性関係を学習する。
3. グラフモデリングによって改良された階層的なビジュアル・セマンティックな特徴を融合し補う。
本手法は,視覚特徴のセマンティックリンケージモデリングを促進することで,複数の代表的ZSLデータセット(AwA2,CUB,SUN)に対する最先端のアプローチよりも優れる。
関連論文リスト
- DGNN: Decoupled Graph Neural Networks with Structural Consistency
between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。
ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。
複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文 参考訳(メタデータ) (2024-01-28T06:43:13Z) - Tensor Graph Convolutional Network for Dynamic Graph Representation
Learning [12.884025972321316]
動的グラフ(DG)は、多くの現実的なシナリオにおけるエンティティ間の動的相互作用を記述する。
既存のDG表現学習モデルの多くは、グラフ畳み込みネットワークとシーケンスニューラルネットワークを組み合わせている。
1つの畳み込みフレームワークでDG表現を学習するためのテンソルグラフ畳み込みネットワークを提案する。
論文 参考訳(メタデータ) (2024-01-13T12:49:56Z) - Knowledge Enhanced Graph Neural Networks for Graph Completion [0.0]
Knowledge Enhanced Graph Neural Networks (KeGNN)は、グラフ補完のためのニューラルシンボリックなフレームワークである。
KeGNNは、知識強化レイヤを積み重ねた基盤としてグラフニューラルネットワークで構成されている。
我々はKeGNNを、最先端のグラフニューラルネットワーク、グラフ畳み込みネットワーク、グラフ注意ネットワークの2つと組み合わせてインスタンス化する。
論文 参考訳(メタデータ) (2023-03-27T07:53:43Z) - Neighborhood Convolutional Network: A New Paradigm of Graph Neural
Networks for Node Classification [12.062421384484812]
グラフ畳み込みネットワーク(GCN)は、各畳み込み層における近傍の集約と特徴変換を分離する。
本稿では,周辺畳み込みネットワーク(NCN)と呼ばれるGCNの新しいパラダイムを提案する。
このようにして、モデルは、近隣情報を集約するための分離GCNの利点を継承すると同時に、より強力な特徴学習モジュールを開発することができる。
論文 参考訳(メタデータ) (2022-11-15T02:02:51Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - Graph Information Bottleneck [77.21967740646784]
グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。
GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。
提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:13:00Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-06-17T16:18:35Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳(メタデータ) (2020-03-15T02:33:21Z) - Cross-GCN: Enhancing Graph Convolutional Network with $k$-Order Feature
Interactions [153.6357310444093]
Graph Convolutional Network(GCN)は,グラフデータの学習と推論を行う新興技術である。
我々は、GCNの既存の設計がクロスフィーチャをモデリングし、クロスフィーチャが重要であるタスクやデータに対してGCNの効率を損なうことを論じている。
我々は、任意の次交叉特徴を、特徴次元と順序サイズに線形に複雑にモデル化した、クロスフィーチャーグラフ畳み込みという新しい演算子を設計する。
論文 参考訳(メタデータ) (2020-03-05T13:05:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。