論文の概要: A Novel Genetic Algorithm with Hierarchical Evaluation Strategy for
Hyperparameter Optimisation of Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2101.09300v2
- Date: Tue, 26 Jan 2021 11:38:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-20 20:31:06.686093
- Title: A Novel Genetic Algorithm with Hierarchical Evaluation Strategy for
Hyperparameter Optimisation of Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークのハイパーパラメータ最適化のための階層的評価戦略を用いた新しい遺伝的アルゴリズム
- Authors: Yingfang Yuan and Wenjun Wang and George M. Coghill and Wei Pang
- Abstract要約: 本研究は階層的評価戦略(HESGA)を用いた新しい遺伝的アルゴリズムを提案する。
提案された階層的戦略は、候補者をより高いレベルに推薦するために低いレベルでの迅速な評価を用いており、完全評価はエリート個人のグループを維持するための最終評価者として振る舞う。
- 参考スコア（独自算出の注目度）: 7.139436410105177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph representation of structured data can facilitate the extraction of
stereoscopic features, and it has demonstrated excellent ability when working
with deep learning systems, the so-called Graph Neural Networks (GNNs).
Choosing a promising architecture for constructing GNNs can be transferred to a
hyperparameter optimisation problem, a very challenging task due to the size of
the underlying search space and high computational cost for evaluating
candidate GNNs. To address this issue, this research presents a novel genetic
algorithm with a hierarchical evaluation strategy (HESGA), which combines the
full evaluation of GNNs with a fast evaluation approach. By using full
evaluation, a GNN is represented by a set of hyperparameter values and trained
on a specified dataset, and root mean square error (RMSE) will be used to
measure the quality of the GNN represented by the set of hyperparameter values
(for regression problems). While in the proposed fast evaluation process, the
training will be interrupted at an early stage, the difference of RMSE values
between the starting and interrupted epochs will be used as a fast score, which
implies the potential of the GNN being considered. To coordinate both types of
evaluations, the proposed hierarchical strategy uses the fast evaluation in a
lower level for recommending candidates to a higher level, where the full
evaluation will act as a final assessor to maintain a group of elite
individuals. To validate the effectiveness of HESGA, we apply it to optimise
two types of deep graph neural networks. The experimental results on three
benchmark datasets demonstrate its advantages compared to Bayesian
hyperparameter optimization.
- Abstract（参考訳）: 構造化データのグラフ表現は、立体視的特徴の抽出を容易にし、ディープラーニングシステム、いわゆるグラフニューラルネットワーク(GNN)を扱う際に優れた能力を示す。
GNNを構築するための有望なアーキテクチャを選択することは、探索空間のサイズと候補GNNを評価するための高い計算コストのために非常に困難な課題であるハイパーパラメータ最適化問題に移行することができる。
そこで本研究では, 階層的評価戦略(HESGA)を用いた遺伝的アルゴリズムを提案する。
完全な評価によって、GNNはハイパーパラメータ値のセットで表現され、指定されたデータセット上でトレーニングされ、ルート平均二乗誤差(RMSE)を使用して、(回帰問題のために)ハイパーパラメータ値のセットで表されるGNNの品質を測定する。
提案する高速評価プロセスでは,早期にトレーニングを中断するが,開始時間と中断時間の間のrmse値の差は,gnnの可能性を示唆する高速スコアとして使用される。
両評価のコーディネートを行うため,提案する階層戦略では,候補者を上位レベルに推薦するために,下位レベルにおける迅速な評価を用いて,エリートグループを維持するための最終評価者としての完全な評価を行う。
HESGAの有効性を検証するため、2種類のディープグラフニューラルネットワークを最適化する。
3つのベンチマークデータセットの実験結果は、ベイジアンハイパーパラメータ最適化と比較してその利点を示している。
関連論文リスト
- Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Efficient and effective training of language and graph neural network
models [36.00479096375565]
我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。
本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。
我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
論文 参考訳（メタデータ） (2022-06-22T00:23:37Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳（メタデータ） (2021-12-08T20:23:58Z) - Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。
オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。
本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
論文 参考訳（メタデータ） (2021-10-26T15:56:16Z) - A Genetic Algorithm with Tree-structured Mutation for Hyperparameter
Optimisation of Graph Neural Networks [8.02401104726362]
グラフニューラルネットワーク(GNN)は、グラフ関連の問題を処理する能力に優れており、注目を集めている。
実際には、高パラメータ最適化(HPO)は、GNNが満足な結果を得るために重要です。
本稿では,この問題を緩和するため,GAのための木構造変異戦略を提案する。
論文 参考訳（メタデータ） (2021-02-24T00:31:52Z) - Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。
PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。
PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
論文 参考訳（メタデータ） (2020-11-13T18:53:21Z) - Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。
複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。
本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文 参考訳（メタデータ） (2020-06-26T17:03:06Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳（メタデータ） (2020-06-25T00:45:52Z) - Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。
提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
論文 参考訳（メタデータ） (2020-06-07T07:06:35Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。