論文の概要: Evolutionary Architecture Search for Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2009.10199v1
- Date: Mon, 21 Sep 2020 22:11:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-16 04:34:15.430451
- Title: Evolutionary Architecture Search for Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークの進化的アーキテクチャ探索
- Authors: Min Shi, David A.Wilson, Xingquan Zhu, Yu Huang, Yuan Zhuang, Jianxun
Liu and Yufei Tang
- Abstract要約: 本稿では,大規模グラフニューラルネットワーク(GNN)アーキテクチャ空間における個々のモデルの進化を通じて,新しいAutoMLフレームワークを提案する。
我々の知る限りでは、GNNモデルの進化的アーキテクチャ探索を導入し、評価する最初の試みである。
- 参考スコア（独自算出の注目度）: 23.691915813153496
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated machine learning (AutoML) has seen a resurgence in interest with
the boom of deep learning over the past decade. In particular, Neural
Architecture Search (NAS) has seen significant attention throughout the AutoML
research community, and has pushed forward the state-of-the-art in a number of
neural models to address grid-like data such as texts and images. However, very
litter work has been done about Graph Neural Networks (GNN) learning on
unstructured network data. Given the huge number of choices and combinations of
components such as aggregator and activation function, determining the suitable
GNN structure for a specific problem normally necessitates tremendous expert
knowledge and laborious trails. In addition, the slight variation of hyper
parameters such as learning rate and dropout rate could dramatically hurt the
learning capacity of GNN. In this paper, we propose a novel AutoML framework
through the evolution of individual models in a large GNN architecture space
involving both neural structures and learning parameters. Instead of optimizing
only the model structures with fixed parameter settings as existing work, an
alternating evolution process is performed between GNN structures and learning
parameters to dynamically find the best fit of each other. To the best of our
knowledge, this is the first work to introduce and evaluate evolutionary
architecture search for GNN models. Experiments and validations demonstrate
that evolutionary NAS is capable of matching existing state-of-the-art
reinforcement learning approaches for both the semi-supervised transductive and
inductive node representation learning and classification.
- Abstract（参考訳）: 自動機械学習(AutoML)は、過去10年間のディープラーニングのブームに再び関心を寄せている。
特に、NAS(Neural Architecture Search)はAutoML研究コミュニティ全体で大きな注目を集めており、テキストやイメージなどのグリッドライクなデータに対処する多くのニューラルモデルにおいて、最先端の技術を推し進めている。
しかし、非構造化ネットワークデータに関するグラフニューラルネットワーク(GNN)の学習については、非常に厳しい研究がなされている。
アグリゲータやアクティベーション関数などのコンポーネントの膨大な数の選択と組み合わせを考えると、特定の問題に適したGNN構造を決定するには、通常、膨大な専門知識と労力を要する。
さらに、学習率やドロップアウト率などのハイパーパラメータのわずかな変動は、GNNの学習能力を劇的に損なう可能性がある。
本稿では、ニューラル構造と学習パラメータの両方を含む大規模GNNアーキテクチャ空間における個々のモデルの進化を通して、新しいAutoMLフレームワークを提案する。
既存の作業として固定パラメータ設定を持つモデル構造のみを最適化するのではなく、GNN構造と学習パラメータの間で交互に進化プロセスを行い、互いの最適な適合を動的に見つける。
我々の知る限りでは、GNNモデルの進化的アーキテクチャ探索を導入し、評価する最初の試みである。
実験と検証により、進化的NASは、半教師付きトランスダクティブおよび帰納的ノード表現学習と分類の両方に対して、既存の最先端の強化学習アプローチと一致することを示す。
関連論文リスト
- Hyperbolic Benchmarking Unveils Network Topology-Feature Relationship in GNN Performance [0.5416466085090772]
グラフ機械学習のための総合的なベンチマークフレームワークを導入する。
我々は,現実的なトポロジ特性とノード特徴ベクトルを持つ合成ネットワークを生成する。
その結果,ネットワーク構造とノード特徴間の相互作用にモデル性能が依存していることが明らかになった。
論文 参考訳（メタデータ） (2024-06-04T20:40:06Z) - Learning Invariant Representations of Graph Neural Networks via Cluster
Generalization [58.68231635082891]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングでますます人気が高まっている。
本稿では,構造変化が発生した場合,GNNの性能が著しく低下することが実験的に確認された。
本稿では,GNNの不変表現を学習するクラスタ情報伝達(CIT)機構を提案する。
論文 参考訳（メタデータ） (2024-03-06T10:36:56Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Auto-HeG: Automated Graph Neural Network on Heterophilic Graphs [62.665761463233736]
異種グラフ上の自動グラフニューラルネットワークであるAuto-HeGを提案し、異種グラフGNNモデルを自動的に構築する。
特にAuto-HeGは、検索空間設計、スーパーネットトレーニング、アーキテクチャ選択など、自動異種グラフ学習のあらゆる段階にヘテロフィリーを組み込んでいる。
論文 参考訳（メタデータ） (2023-02-23T22:49:56Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-02-11T21:07:30Z) - A Self-adaptive Neuroevolution Approach to Constructing Deep Neural
Network Architectures Across Different Types [5.429458930060452]
本稿では,様々なタスクに対して,様々な軽量なDeep Neural Network(DNN)アーキテクチャを自動構築する,自己適応型神経進化(SANE)アプローチを提案する。
SANEの重要な設定の1つは、異なるDNNタイプに適応した細胞と臓器によって定義された検索空間である。
SANEは、進化探索とエクスプロイトを自己適応的に調整し、探索効率を向上させることができる。
論文 参考訳（メタデータ） (2022-11-27T07:40:25Z) - Neural Architecture Search based on Cartesian Genetic Programming Coding
Method [6.519170476143571]
文分類課題を解決するために,CGPに基づくNASの進化的アプローチであるCGPNASを提案する。
実験の結果,検索されたアーキテクチャは人間設計アーキテクチャの性能に匹敵することがわかった。
論文 参考訳（メタデータ） (2021-03-12T09:51:03Z) - Differentiable Neural Architecture Learning for Efficient Neural Network
Design [31.23038136038325]
スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。
そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
論文 参考訳（メタデータ） (2021-03-03T02:03:08Z) - Simplifying Architecture Search for Graph Neural Network [38.45540097927176]
本稿では,新しい探索空間と強化学習に基づく探索アルゴリズムからなるSNAGフレームワークを提案する。
実世界のデータセットを用いた実験は、人間設計のGNNやNAS手法と比較してSNAGフレームワークの有効性を示す。
論文 参考訳（メタデータ） (2020-08-26T16:24:03Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。