論文の概要: A Novel Genetic Algorithm with Hierarchical Evaluation Strategy for
Hyperparameter Optimisation of Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2101.09300v2
- Date: Tue, 26 Jan 2021 11:38:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-20 20:31:06.686093
- Title: A Novel Genetic Algorithm with Hierarchical Evaluation Strategy for
Hyperparameter Optimisation of Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークのハイパーパラメータ最適化のための階層的評価戦略を用いた新しい遺伝的アルゴリズム
- Authors: Yingfang Yuan and Wenjun Wang and George M. Coghill and Wei Pang
- Abstract要約: 本研究は階層的評価戦略(HESGA)を用いた新しい遺伝的アルゴリズムを提案する。
提案された階層的戦略は、候補者をより高いレベルに推薦するために低いレベルでの迅速な評価を用いており、完全評価はエリート個人のグループを維持するための最終評価者として振る舞う。
- 参考スコア（独自算出の注目度）: 7.139436410105177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph representation of structured data can facilitate the extraction of
stereoscopic features, and it has demonstrated excellent ability when working
with deep learning systems, the so-called Graph Neural Networks (GNNs).
Choosing a promising architecture for constructing GNNs can be transferred to a
hyperparameter optimisation problem, a very challenging task due to the size of
the underlying search space and high computational cost for evaluating
candidate GNNs. To address this issue, this research presents a novel genetic
algorithm with a hierarchical evaluation strategy (HESGA), which combines the
full evaluation of GNNs with a fast evaluation approach. By using full
evaluation, a GNN is represented by a set of hyperparameter values and trained
on a specified dataset, and root mean square error (RMSE) will be used to
measure the quality of the GNN represented by the set of hyperparameter values
(for regression problems). While in the proposed fast evaluation process, the
training will be interrupted at an early stage, the difference of RMSE values
between the starting and interrupted epochs will be used as a fast score, which
implies the potential of the GNN being considered. To coordinate both types of
evaluations, the proposed hierarchical strategy uses the fast evaluation in a
lower level for recommending candidates to a higher level, where the full
evaluation will act as a final assessor to maintain a group of elite
individuals. To validate the effectiveness of HESGA, we apply it to optimise
two types of deep graph neural networks. The experimental results on three
benchmark datasets demonstrate its advantages compared to Bayesian
hyperparameter optimization.
- Abstract（参考訳）: 構造化データのグラフ表現は、立体視的特徴の抽出を容易にし、ディープラーニングシステム、いわゆるグラフニューラルネットワーク(GNN)を扱う際に優れた能力を示す。
GNNを構築するための有望なアーキテクチャを選択することは、探索空間のサイズと候補GNNを評価するための高い計算コストのために非常に困難な課題であるハイパーパラメータ最適化問題に移行することができる。
そこで本研究では, 階層的評価戦略(HESGA)を用いた遺伝的アルゴリズムを提案する。
完全な評価によって、GNNはハイパーパラメータ値のセットで表現され、指定されたデータセット上でトレーニングされ、ルート平均二乗誤差(RMSE)を使用して、(回帰問題のために)ハイパーパラメータ値のセットで表されるGNNの品質を測定する。
提案する高速評価プロセスでは,早期にトレーニングを中断するが,開始時間と中断時間の間のrmse値の差は,gnnの可能性を示唆する高速スコアとして使用される。
両評価のコーディネートを行うため,提案する階層戦略では,候補者を上位レベルに推薦するために,下位レベルにおける迅速な評価を用いて,エリートグループを維持するための最終評価者としての完全な評価を行う。
HESGAの有効性を検証するため、2種類のディープグラフニューラルネットワークを最適化する。
3つのベンチマークデータセットの実験結果は、ベイジアンハイパーパラメータ最適化と比較してその利点を示している。
関連論文リスト
- Sparse Decomposition of Graph Neural Networks [20.768412002413843]
本稿では,集約中に含まれるノード数を削減する手法を提案する。
線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。
提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-10-25T17:52:16Z) - Enhancing GNNs Performance on Combinatorial Optimization by Recurrent Feature Update [0.09986418756990156]
本稿では,組合せ最適化(CO)問題を効率よく解くために,GNNのパワーを活用して,QRF-GNNと呼ぶ新しいアルゴリズムを提案する。
QUBO緩和による損失関数の最小化による教師なし学習に依存している。
実験の結果、QRF-GNNは既存の学習ベースアプローチを大幅に上回り、最先端の手法に匹敵することがわかった。
論文 参考訳（メタデータ） (2024-07-23T13:34:35Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - How Expressive are Graph Neural Networks in Recommendation? [17.31401354442106]
グラフニューラルネットワーク(GNN)は、レコメンデーションを含むさまざまなグラフ学習タスクにおいて、優れたパフォーマンスを示している。
近年、GNNの表現性を調査し、メッセージパッシングGNNがWeisfeiler-Lehmanテストと同じくらい強力であることを実証している。
本稿では,GNNがノード間の構造的距離を捉える能力を評価するために,位相的近接度尺度を提案する。
論文 参考訳（メタデータ） (2023-08-22T02:17:34Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。
オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。
本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
論文 参考訳（メタデータ） (2021-10-26T15:56:16Z) - A Genetic Algorithm with Tree-structured Mutation for Hyperparameter
Optimisation of Graph Neural Networks [8.02401104726362]
グラフニューラルネットワーク(GNN)は、グラフ関連の問題を処理する能力に優れており、注目を集めている。
実際には、高パラメータ最適化(HPO)は、GNNが満足な結果を得るために重要です。
本稿では,この問題を緩和するため,GAのための木構造変異戦略を提案する。
論文 参考訳（メタデータ） (2021-02-24T00:31:52Z) - Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。
PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。
PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
論文 参考訳（メタデータ） (2020-11-13T18:53:21Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳（メタデータ） (2020-06-25T00:45:52Z) - Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。
提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
論文 参考訳（メタデータ） (2020-06-07T07:06:35Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。