論文の概要: Multi network InfoMax: A pre-training method involving graph
convolutional networks
- arxiv url: http://arxiv.org/abs/2111.01276v1
- Date: Mon, 1 Nov 2021 21:53:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-03 22:42:51.343518
- Title: Multi network InfoMax: A pre-training method involving graph
convolutional networks
- Title(参考訳): マルチネットワークInfoMax:グラフ畳み込みネットワークを含む事前学習手法
- Authors: Usman Mahmood, Zening Fu, Vince Calhoun, Sergey Plis
- Abstract要約: 本稿では,グラフ畳み込み/ニューラルネットワーク(GCN/GNN)を含む事前学習手法を提案する。
学習された高レベルグラフ潜在表現は、下流グラフ分類タスクのパフォーマンス向上に役立つ。
我々は、被験者を健康管理群(HC)と統合失調症群(SZ)に分類するための神経画像データセットに適用した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discovering distinct features and their relations from data can help us
uncover valuable knowledge crucial for various tasks, e.g., classification. In
neuroimaging, these features could help to understand, classify, and possibly
prevent brain disorders. Model introspection of highly performant
overparameterized deep learning (DL) models could help find these features and
relations. However, to achieve high-performance level DL models require
numerous labeled training samples ($n$) rarely available in many fields. This
paper presents a pre-training method involving graph convolutional/neural
networks (GCNs/GNNs), based on maximizing mutual information between two
high-level embeddings of an input sample. Many of the recently proposed
pre-training methods pre-train one of many possible networks of an
architecture. Since almost every DL model is an ensemble of multiple networks,
we take our high-level embeddings from two different networks of a model --a
convolutional and a graph network--. The learned high-level graph latent
representations help increase performance for downstream graph classification
tasks and bypass the need for a high number of labeled data samples. We apply
our method to a neuroimaging dataset for classifying subjects into healthy
control (HC) and schizophrenia (SZ) groups. Our experiments show that the
pre-trained model significantly outperforms the non-pre-trained model and
requires $50\%$ less data for similar performance.
- Abstract(参考訳): 異なる特徴やそれらの関係をデータから発見することは、分類など、さまざまなタスクにとって重要な知識を見つけるのに役立ちます。
ニューロイメージングでは、これらの機能は脳障害の理解、分類、および予防に役立つ可能性がある。
高性能過パラメータディープラーニング(DL)モデルのモデルイントロスペクションは、これらの特徴や関係を見つけるのに役立つ。
しかし、高性能なdlモデルを達成するには、多くの分野で利用可能なラベル付きトレーニングサンプル(n$)が必要となる。
本稿では,入力サンプルの2つの高レベル埋め込み間の相互情報を最大化することに基づく,グラフ畳み込み/ニューラルネットワーク(gcns/gnns)を用いた事前学習手法を提案する。
最近提案された事前学習手法の多くは、アーキテクチャの多くの可能性の1つである。
ほとんどすべてのdlモデルは複数のネットワークのアンサンブルであるので、モデルの2つの異なるネットワーク(畳み込みとグラフネットワーク)からハイレベルな埋め込みを取ります。
学習された高レベルグラフ潜在表現は、下流グラフ分類タスクのパフォーマンスを高め、大量のラベル付きデータサンプルの必要性を回避します。
対象を健康管理群 (hc) と統合失調症群 (sz) に分類するための神経画像データセットに適用する。
実験の結果,事前学習モデルが非訓練モデルを大きく上回り,同様の性能を得るためには50~%少ないデータを必要とすることがわかった。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳(メタデータ) (2023-09-26T13:09:43Z) - MTS2Graph: Interpretable Multivariate Time Series Classification with
Temporal Evolving Graphs [1.1756822700775666]
入力代表パターンを抽出・クラスタリングすることで時系列データを解釈する新しいフレームワークを提案する。
UCR/UEAアーカイブの8つのデータセットとHARとPAMデータセットで実験を行います。
論文 参考訳(メタデータ) (2023-06-06T16:24:27Z) - Multi-Head Graph Convolutional Network for Structural Connectome
Classification [8.658134276685404]
グラフ畳み込みネットワーク(GCN)にインスパイアされた機械学習モデルを提案する。
提案するネットワークは,エッジとノードに着目したグラフ畳み込みを含む,異なるヘッドを用いたシンプルな設計である。
脳接続データから補完的特徴と代表的特徴を抽出する能力をテストするため,私たちは性分類の課題を選択した。
論文 参考訳(メタデータ) (2023-05-02T15:04:30Z) - Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。
具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。
我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2022-05-08T08:19:40Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - One Representative-Shot Learning Using a Population-Driven Template with
Application to Brain Connectivity Classification and Evolution Prediction [0.0]
グラフニューラルネットワーク(GNN)は、ネットワーク神経科学の分野に導入されている。
私たちは、GNNのトレーニングにおいて、まったく異なるアプローチを取っています。
我々は、GNNが単一集団駆動型テンプレートで訓練される最初のワンショットパラダイムを示す。
論文 参考訳(メタデータ) (2021-10-06T08:36:00Z) - Graph-Based Neural Network Models with Multiple Self-Supervised
Auxiliary Tasks [79.28094304325116]
グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。
マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
論文 参考訳(メタデータ) (2020-11-14T11:09:51Z) - Revisiting Graph based Collaborative Filtering: A Linear Residual Graph
Convolutional Network Approach [55.44107800525776]
グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。
本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。
単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。
本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
論文 参考訳(メタデータ) (2020-01-28T04:41:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。