論文の概要: CNN2GNN: How to Bridge CNN with GNN

• arxiv url: http://arxiv.org/abs/2404.14822v1
• Date: Tue, 23 Apr 2024 08:19:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 14:51:00.756124
• Title: CNN2GNN: How to Bridge CNN with GNN
• Title（参考訳）: CNN2GNN: GNNでCNNをブリッジする方法
• Authors: Ziheng Jiao, Hongyuan Zhang, Xuelong Li,
• Abstract要約: 蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。 Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
• 参考スコア（独自算出の注目度）: 59.42117676779735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although the convolutional neural network (CNN) has achieved excellent performance in vision tasks by extracting the intra-sample representation, it will take a higher training expense because of stacking numerous convolutional layers. Recently, as the bilinear models, graph neural networks (GNN) have succeeded in exploring the underlying topological relationship among the graph data with a few graph neural layers. Unfortunately, it cannot be directly utilized on non-graph data due to the lack of graph structure and has high inference latency on large-scale scenarios. Inspired by these complementary strengths and weaknesses, \textit{we discuss a natural question, how to bridge these two heterogeneous networks?} In this paper, we propose a novel CNN2GNN framework to unify CNN and GNN together via distillation. Firstly, to break the limitations of GNN, a differentiable sparse graph learning module is designed as the head of networks to dynamically learn the graph for inductive learning. Then, a response-based distillation is introduced to transfer the knowledge from CNN to GNN and bridge these two heterogeneous networks. Notably, due to extracting the intra-sample representation of a single instance and the topological relationship among the datasets simultaneously, the performance of distilled ``boosted'' two-layer GNN on Mini-ImageNet is much higher than CNN containing dozens of layers such as ResNet152.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、サンプル内表現を抽出することで、視覚タスクにおいて優れたパフォーマンスを実現しているが、多数の畳み込み層を積み重ねるため、より高いトレーニングコストがかかる。 近年,バイリニアモデルとしてグラフニューラルネットワーク (GNN) がグラフデータ間のトポロジ的関係をいくつかのグラフニューラルネットワーク層で探索することに成功している。 残念ながら、グラフ構造が欠如しているため、グラフデータに直接利用することはできず、大規模シナリオでは高い推論レイテンシを持つ。 これらの相補的な強みと弱みに触発されて、 \textit{we discuss a natural question, how to bridge this two heterogeneous networks? The paper, we propose a novel CNN2GNN framework to unified CNN and GNN together through distillation。 まず、GNNの限界を断ち切るために、インダクティブ学習のためのグラフを動的に学習するネットワークの先頭として、差別化可能なスパースグラフ学習モジュールを設計する。 次に、CNNからGNNへ知識を伝達し、これら2つの異種ネットワークを橋渡しするために、応答に基づく蒸留を導入する。 特に、単一インスタンスのサンプル内表現とデータセット間のトポロジ的関係を同時に抽出するため、Mini-ImageNet上で蒸留した ``boosted'' 2層GNNの性能は、ResNet152のような数十のレイヤを含むCNNよりもはるかに高い。

関連論文リスト

• Transferability of Graph Neural Networks using Graphon and Sampling Theories [0.0]
  グラフニューラルネットワーク(GNN)は、さまざまなドメインでグラフベースの情報を処理するための強力なツールとなっている。 GNNの望ましい特性は転送可能性であり、トレーニングされたネットワークは、その正確性を再トレーニングすることなく、異なるグラフから情報を交換することができる。 我々は,2層グラファイトニューラルネットワーク(WNN)アーキテクチャを明示することにより,GNNへのグラファイトの適用に寄与する。
  論文  参考訳（メタデータ） (2023-07-25T02:11:41Z)
• Compact & Capable: Harnessing Graph Neural Networks and Edge Convolution for Medical Image Classification [0.0]
  本稿では,重要なグラフノード間の接続を強く表現するために,RGBチャネルの特徴値の相互接続性を活用し,GNNとエッジ畳み込みを組み合わせた新しいモデルを提案する。 提案モデルでは,最新のDeep Neural Networks (DNN) と同等に動作するが,1000倍のパラメータが減少し,トレーニング時間とデータ要求が短縮される。
  論文  参考訳（メタデータ） (2023-07-24T13:39:21Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Network In Graph Neural Network [9.951298152023691]
  本稿では,任意のGNNモデルに対して,モデルをより深くすることでモデル容量を増大させるモデルに依存しない手法を提案する。 GNNレイヤの追加や拡張の代わりに、NGNNは、各GNNレイヤに非線形フィードフォワードニューラルネットワーク層を挿入することで、GNNモデルを深めている。
  論文  参考訳（メタデータ） (2021-11-23T03:58:56Z)
• Enhance Information Propagation for Graph Neural Network by Heterogeneous Aggregations [7.3136594018091134]
  グラフニューラルネットワークは、ディープラーニングの成功の継続として出現している。 ヘテロジニアスアグリゲーションを組み合わせることで,GNN層間の情報伝達を促進することを提案する。 我々は,多くのグラフ分類ベンチマークにおいて,HAG-Netの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2021-02-08T08:57:56Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Graph Neural Networks: Architectures, Stability and Transferability [176.3960927323358]
  グラフニューラルネットワーク(GNN)は、グラフでサポートされている信号のための情報処理アーキテクチャである。 これらは、個々の層がグラフ畳み込みフィルタのバンクを含む畳み込みニューラルネットワーク(CNN)の一般化である。
  論文  参考訳（メタデータ） (2020-08-04T18:57:36Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)
• Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks [183.97265247061847]
  我々はグラフ信号処理を活用してグラフニューラルネットワーク(GNN)の表現空間を特徴付ける。 GNNにおけるグラフ畳み込みフィルタの役割について議論し、そのようなフィルタで構築されたアーキテクチャは、置換同値の基本的な性質と位相変化に対する安定性を持つことを示す。 また,ロボット群に対するリコメンデータシステムや分散型コントローラの学習におけるGNNの利用について検討した。
  論文  参考訳（メタデータ） (2020-03-08T13:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。