論文の概要: Multi network InfoMax: A pre-training method involving graph convolutional networks

• arxiv url: http://arxiv.org/abs/2111.01276v1
• Date: Mon, 1 Nov 2021 21:53:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-03 22:42:51.343518
• Title: Multi network InfoMax: A pre-training method involving graph convolutional networks
• Title（参考訳）: マルチネットワークInfoMax:グラフ畳み込みネットワークを含む事前学習手法
• Authors: Usman Mahmood, Zening Fu, Vince Calhoun, Sergey Plis
• Abstract要約: 本稿では,グラフ畳み込み/ニューラルネットワーク(GCN/GNN)を含む事前学習手法を提案する。 学習された高レベルグラフ潜在表現は、下流グラフ分類タスクのパフォーマンス向上に役立つ。 我々は、被験者を健康管理群(HC)と統合失調症群(SZ)に分類するための神経画像データセットに適用した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discovering distinct features and their relations from data can help us uncover valuable knowledge crucial for various tasks, e.g., classification. In neuroimaging, these features could help to understand, classify, and possibly prevent brain disorders. Model introspection of highly performant overparameterized deep learning (DL) models could help find these features and relations. However, to achieve high-performance level DL models require numerous labeled training samples ($n$) rarely available in many fields. This paper presents a pre-training method involving graph convolutional/neural networks (GCNs/GNNs), based on maximizing mutual information between two high-level embeddings of an input sample. Many of the recently proposed pre-training methods pre-train one of many possible networks of an architecture. Since almost every DL model is an ensemble of multiple networks, we take our high-level embeddings from two different networks of a model --a convolutional and a graph network--. The learned high-level graph latent representations help increase performance for downstream graph classification tasks and bypass the need for a high number of labeled data samples. We apply our method to a neuroimaging dataset for classifying subjects into healthy control (HC) and schizophrenia (SZ) groups. Our experiments show that the pre-trained model significantly outperforms the non-pre-trained model and requires $50\%$ less data for similar performance.
• Abstract（参考訳）: 異なる特徴やそれらの関係をデータから発見することは、分類など、さまざまなタスクにとって重要な知識を見つけるのに役立ちます。 ニューロイメージングでは、これらの機能は脳障害の理解、分類、および予防に役立つ可能性がある。 高性能過パラメータディープラーニング(DL)モデルのモデルイントロスペクションは、これらの特徴や関係を見つけるのに役立つ。 しかし、高性能なdlモデルを達成するには、多くの分野で利用可能なラベル付きトレーニングサンプル(n$)が必要となる。 本稿では,入力サンプルの2つの高レベル埋め込み間の相互情報を最大化することに基づく,グラフ畳み込み/ニューラルネットワーク(gcns/gnns)を用いた事前学習手法を提案する。 最近提案された事前学習手法の多くは、アーキテクチャの多くの可能性の1つである。 ほとんどすべてのdlモデルは複数のネットワークのアンサンブルであるので、モデルの2つの異なるネットワーク(畳み込みとグラフネットワーク)からハイレベルな埋め込みを取ります。 学習された高レベルグラフ潜在表現は、下流グラフ分類タスクのパフォーマンスを高め、大量のラベル付きデータサンプルの必要性を回避します。 対象を健康管理群 (hc) と統合失調症群 (sz) に分類するための神経画像データセットに適用する。 実験の結果,事前学習モデルが非訓練モデルを大きく上回り,同様の性能を得るためには50～%少ないデータを必要とすることがわかった。

関連論文リスト

• GraphFM: A Scalable Framework for Multi-Graph Pretraining [2.882104808886318]
  本稿では,さまざまな領域のグラフデータセットにまたがるノード分類タスクに適した,スケーラブルなマルチグラフ・マルチタスク事前学習手法を提案する。 我々は,740万以上のノードと1億1900万のエッジからなる152のグラフデータセットのモデルをトレーニングすることで,このアプローチの有効性を実証する。 以上の結果から,多種多様な実・合成グラフの事前学習により適応性と安定性が向上し,最先端のスペシャリストモデルと競合する結果が得られた。
  論文  参考訳（メタデータ） (2024-07-16T16:51:43Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Multi-Head Graph Convolutional Network for Structural Connectome Classification [8.658134276685404]
  グラフ畳み込みネットワーク(GCN)にインスパイアされた機械学習モデルを提案する。 提案するネットワークは,エッジとノードに着目したグラフ畳み込みを含む,異なるヘッドを用いたシンプルな設計である。 脳接続データから補完的特徴と代表的特徴を抽出する能力をテストするため,私たちは性分類の課題を選択した。
  論文  参考訳（メタデータ） (2023-05-02T15:04:30Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• One Representative-Shot Learning Using a Population-Driven Template with Application to Brain Connectivity Classification and Evolution Prediction [0.0]
  グラフニューラルネットワーク(GNN)は、ネットワーク神経科学の分野に導入されている。 私たちは、GNNのトレーニングにおいて、まったく異なるアプローチを取っています。 我々は、GNNが単一集団駆動型テンプレートで訓練される最初のワンショットパラダイムを示す。
  論文  参考訳（メタデータ） (2021-10-06T08:36:00Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。