論文の概要、ライセンス

# (参考訳) 分子特性予測のためのグラフニューラルネットワークのハイパーパラメータ最適化に関する系統的比較 [全文訳有]

A Systematic Comparison Study on Hyperparameter Optimisation of Graph Neural Networks for Molecular Property Prediction ( http://arxiv.org/abs/2102.04283v1 )

ライセンス: CC BY 4.0
Yingfang Yuan, Wenjun Wang, Wei Pang(参考訳) グラフニューラルネットワーク(GNN)は、幅広いグラフ関連学習タスクに対して提案されている。 特に近年,分子特性の予測に応用されたGNNシステムが増えてきている。 しかし、理論上、GNNのハイパーパラメータ設定には無限の選択肢があり、計算コストを低く抑えるために適切なハイパーパラメータを選択することが直接的な障害である。 一方、多くの分子データセットのサイズは、典型的なディープラーニングアプリケーションにおける他の多くのデータセットよりもはるかに小さく、ほとんどのハイパーパラメータ最適化(HPO)方法は、分子ドメインにおけるそのような小さなデータセットの効率の観点から検討されていません。 本論文では,HPOとCMA-ESの2つの最新アルゴリズム(TPEとCMA-ES)の共通特徴と特異特徴を理論的に解析し,ベースラインとして用いるランダム検索(RS)との比較を行った。 分子特性予測のためのGNNのHPOに対するRS, TPE, CMA-ESの影響を調べるために, 様々な観点からMoeculeNetのいくつかのベンチマークで実験を行った。 実験の結果, RS, TPE, CMA-ESは異なる分子問題に対処する上で, 個々の利点があることがわかった。 最後に、私たちの研究は、化学および材料科学の分子機械学習問題に適用されるように、GNNに関するさらなる研究を動機づけると信じています。

Graph neural networks (GNNs) have been proposed for a wide range of graph-related learning tasks. In particular, in recent years there has been an increasing number of GNN systems that were applied to predict molecular properties. However, in theory, there are infinite choices of hyperparameter settings for GNNs, and a direct impediment is to select appropriate hyperparameters to achieve satisfactory performance with lower computational cost. Meanwhile, the sizes of many molecular datasets are far smaller than many other datasets in typical deep learning applications, and most hyperparameter optimization (HPO) methods have not been explored in terms of their efficiencies on such small datasets in molecular domain. In this paper, we conducted a theoretical analysis of common and specific features for two state-of-the-art and popular algorithms for HPO: TPE and CMA-ES, and we compared them with random search (RS), which is used as a baseline. Experimental studies are carried out on several benchmarks in MoleculeNet, from different perspectives to investigate the impact of RS, TPE, and CMA-ES on HPO of GNNs for molecular property prediction. In our experiments, we concluded that RS, TPE, and CMA-ES have their individual advantages in tackling different specific molecular problems. Finally, we believe our work will motivate further research on GNN as applied to molecular machine learning problems in chemistry and materials sciences.
公開日: Mon, 8 Feb 2021 15:40:50 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
1 2 0 2 b e F 8 1 2 0 2 b e F 8 0.85
] . M B o i bq [ ] . M B o i bq [] 0.83
1 v 3 8 2 4 0 1 v 3 8 2 4 0 0.85
. 2 0 1 2 : v i X r a . 2 0 1 2 : v i X r a 0.85
A Systematic Comparison Study on Hyperparameter ハイパーパラメータに関する体系的比較研究 0.79
Optimisation of Graph Neural Networks for Molecular Property グラフニューラルネットワークの分子特性に対する最適化 0.83
Yingfang Yuan Yingfang Yuan 0.85
Heriot-Watt University ヘリオットワット大学 0.48
Edinburgh, Scotland エディンバラ、スコットランド 0.67
yyy2@hw.ac.uk yyy2@hw.ac.uk 0.52
Prediction Wenjun Wang Heriot-Watt University 予測 王文順 ヘリオットワット大学 0.61
Edinburgh, Scotland エディンバラ、スコットランド 0.67
Wenjun.Wang@hw.ac.uk Wenjun.Wang@hw.ac.uk 0.47
Wei Pang∗ Heriot-Watt University Wei Pang∗ ヘリオットワット大学 0.68
Edinburgh, Scotland w.pang@hw.ac.uk Edinburgh, Scotland w.pang@hw.ac.uk 0.63
ABSTRACT Graph neural networks (GNNs) have been proposed for a wide range of graph-related learning tasks. ABSTRACT Graph Neural Network (GNN) は、幅広いグラフ関連学習タスクのために提案されている。 0.82
In particular, in recent years there has been an increasing number of GNN systems that were applied to predict molecular properties. 特に近年,分子特性の予測に応用されたGNNシステムが増えてきている。 0.63
However, in theory, there are infinite choices of hyperparameter settings for GNNs, and a direct impediment is to select appropriate hyperparameters to achieve satisfactory performance with lower computational cost. しかし、理論上、GNNのハイパーパラメータ設定には無限の選択肢があり、計算コストを低く抑えるために適切なハイパーパラメータを選択することが直接的な障害である。 0.68
Meanwhile, the sizes of many molecular datasets are far smaller than many other datasets in typical deep learning applications, and most hyperparameter optimization (HPO) methods have not been explored in terms of their efficiencies on such small datasets in molecular domain. 一方、多くの分子データセットのサイズは、典型的なディープラーニングアプリケーションにおける他の多くのデータセットよりもはるかに小さく、ほとんどのハイパーパラメータ最適化(HPO)方法は、分子ドメインにおけるそのような小さなデータセットの効率の観点から検討されていません。 0.65
In this paper, we conducted a theoretical analysis of common and specific features for two state-of-the-art and popular algorithms for HPO: TPE and CMA-ES, and we compared them with random search (RS), which is used as a baseline. 本論文では,HPOとCMA-ESの2つの最新アルゴリズム(TPEとCMA-ES)の共通特徴と特異特徴を理論的に解析し,ベースラインとして用いるランダム検索(RS)との比較を行った。 0.86
Experimental studies are carried out on several benchmarks in MoleculeNet, from different perspectives to investigate the impact of RS, TPE, and CMA-ES on HPO of GNNs for molecular property prediction. 分子特性予測のためのGNNのHPOに対するRS, TPE, CMA-ESの影響を調べるために, 様々な観点からMoeculeNetのいくつかのベンチマークで実験を行った。 0.74
In our experiments, we concluded that RS, TPE, and CMA-ES have their individual advantages in tackling different specific molecular problems. 実験の結果, RS, TPE, CMA-ESは異なる分子問題に対処する上で, 個々の利点があることがわかった。 0.71
Finally, we believe our work will motivate further research on GNN as applied to molecular machine learning problems in chemistry and materials sciences. 最後に、私たちの研究は、化学および材料科学の分子機械学習問題に適用されるように、GNNに関するさらなる研究を動機づけると信じています。 0.63
CCS CONCEPTS • Computing methodologies → Neural networks; Search methodologies; • Applied computing; • General and reference → Experimentation; ccsの概念 • 計算方法論 → ニューラルネットワーク; 探索方法論; • 応用コンピューティング; • 一般および参照 → 実験; 0.81
KEYWORDS Graph Neural Networks, Molecular Property Prediction, Hyperparameter Optimisation KEYWORDSグラフニューラルネットワーク,分子特性予測,ハイパーパラメータ最適化 0.86
∗Corresponding author Permission to make digital or hard copies of part or all of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. ∗対応作家 デジタル又はハード又はこの作品の一部又は全部を個人または教室で使用するための許可は、その複製が利益または商業上の利益のために作成、配布されず、かつ、この通知と第1ページの全引用を添付して、手数料なしで与えられる。
訳抜け防止モード: ∗対応作家 この作品の一部又は全部のデジタル又はハードコピーを個人または教室での使用許可 手数料なしで与えられます 利益または商業上の優位性のためにコピーが作成または配布されない そのコピーには この通知と 最初のページの全文が書かれています
0.67
Copyrights for third-party components of this work must be honored. この作品のサードパーティコンポーネントの著作権を尊重しなければならない。 0.59
For all other uses, contact the owner/author(s). 他のすべての用途については、所有者/著者に連絡してください。 0.45
2021, Feb, 05 © 2021 Copyright held by the owner/author(s). 2021年2月、05 © 2021 所有者/著者が保有する著作権。 0.78
ACM ISBN 978-x-xxxx-xxxx-x/YY /MM. ACM ISBN 978-x-xxxx-xxxx-x/YY /MM 0.36
https://doi.org/10.1 145/nnnnnnn.nnnnnnn https://doi.org/10.1 145/nnnnnnnnnnnnnnn 0.33
1 INTRODUCTION Graph neural networks (GNNs) are efficient approaches for learning the representations of structured graph data (e.g., molecules, citation networks) [29]. 1 INTRODUCTION Graph Neural Network (GNN) は、構造化グラフデータ(例えば、分子、励起ネットワーク)の表現を学習するための効率的なアプローチである[29]。 0.86
In recent years, several types of GNNs have been proposed for predicting molecular properties, and they have achieved excellent results [8, 10, 14, 18, 19, 28]. 近年、分子特性を予測するためにいくつかの種類のGNNが提案され、優れた結果(8,10,14,18,19,28)が得られた。 0.74
Moreover, the application of GNNs accelerated the work in many related domains, including drug discovery [9, 26], biology [6], physics [25], and these GNNs reduced computational cost compared to traditional firstprinciples methods such as Density Functional Theory [14, 22]. さらに, 薬物発見 [9, 26], 生物学 [6], 物理 [25] など, 関連分野における GNN の適用が促進され, これらの GNN は, 密度汎関数理論 [14, 22] のような従来の第一原理法と比較して計算コストを削減した。 0.87
In practice, there are many GNN variants which can be employed for molecular property prediction. 実際には、分子特性予測に使用できる多くのGNN変異体がある。 0.64
Each variant is proposed based upon a distinct idea for feature learning of molecules. 各変異体は、分子の特徴学習のための明確なアイデアに基づいて提案される。 0.65
For example, GC (graph convolutional network) [8] exploits neural architectures to generalise the chemical operation of circular fingerprint to extract molecular features. 例えば、GC(graph Convolutional Network)[8]は、循環指紋の化学操作を一般化し、分子の特徴を抽出する神経アーキテクチャを利用する。 0.75
In contrast, Weave [18] and MPNN (message passing neural network) [10] have been proposed to learn molecular features by taking readout operations [27] on atomic features. 対照的に, weave [18] と mpnn (message passing neural network) [10] では, 読み出し操作 [27] を用いて分子特性を学ぶために提案されている。 0.78
To learn atomic features, Weave applies global convolution operation, and MPNN uses message passing process. アトミック機能を学ぶためにWeaveはグローバルな畳み込み操作を適用し、MPNNはメッセージパッシングプロセスを使用する。 0.60
However, the hyperparameter selection is a direct impediment for GNNs to achieve excellent results. しかし、ハイパーパラメータの選択は、優れた結果を得るためにGNNの直接的な障害である。 0.60
In general, the process of searching optimal hyperparameters is often a trial-and-error process. 一般的に、最適なハイパーパラメータを探すプロセスは、しばしば試行錯誤のプロセスです。 0.75
Traditionally, people used to manually adjust hyperparamters, but this requires domain experience and intuition. 従来、人々は手動でハイパーパラメータを調整していましたが、ドメインエクスペリエンスと直感が必要です。 0.49
To extricate people from this predicament, random search (RS) has been employed for hyperparameter optimisation (HPO). この前提から人々を排除するために、ランダム検索(RS)がハイパーパラメータ最適化(HPO)に採用されています。 0.66
In brief, RS draw hyperparameter values from uniform distribution within given ranges. 簡単に言えば、RSは与えられた範囲内の均一分布からハイパーパラメーター値を引き出す。 0.50
The drawn hyperparameter values are evaluated on objective function, and the one with the best performance will be selected when the given computational resource is exhausted. 描画されたハイパーパラメータ値は客観的関数で評価され、与えられた計算リソースが枯渇すると、最適なパフォーマンスのものが選択されます。 0.71
Although very simple, RS has been proved to be efficient for HPO of neural networks for many problems [4]. RSは非常に単純ではあるが、多くの問題に対して、ニューラルネットワークのHPOに対して効率的であることが証明されている[4]。 0.54
In recent years, there is an increasing number of strategies proposed for HPO. 近年、HPOのために提案された戦略の数が増えています。 0.72
TPE [4] and CMA-ES [13] are two state-of-the-art HPO algorithms, and they are proposed to improve the efficiency of search for promising hyperparamters by utilising the experience of previous trials. TPE [4] と CMA-ES [13] は2つの最先端の HPO アルゴリズムであり、過去の試験の経験を活用し、有望なハイパーパラメータ探索の効率を改善することが提案されている。 0.73
In this paper, a trial denotes the process of evaluating a hyperparameter setting on an objective function [5]. 本稿では,目的関数 [5] 上でのハイパーパラメータ設定を評価する過程について述べる。 0.80
Research on HPO of GNNs for molecular property prediction is still in its infancy. 分子特性予測のためのGNNsのHPOに関する研究はまだ初期段階にある。 0.76
For example, the pioneer work of GNN presented in [8, 10, 28] did not discuss the problem of HPO in detail. 例えば [8, 10, 28] で提示された GNN の先駆的な研究は HPO の問題の詳細を議論しなかった。 0.81
Meanwhile, most HPO methods have not been explored in terms of their efficiency on GNNs when facing this type of problems, and their performance may need to be further investigated 一方、このタイプの問題に直面した場合、ほとんどのHPOメソッドはGNNの効率について検討されておらず、そのパフォーマンスをさらに調査する必要があるかもしれません。 0.60
英語(論文から抽出)日本語訳スコア
2021, Feb, 05 2021年2月05日 0.87
Yingfang Yuan, Wenjun Wang, and Wei Pang Yingfang Yuan、Wenjun Wang、およびWei Pang。 0.80
because the sizes of molecular datasets vary from hundreds to thousands, which are far less than those of the datasets used for typical deep learning applications (e.g., image recognition, natural language processing). なぜなら、分子データセットのサイズは数百から数千まで様々であり、典型的なディープラーニングアプリケーション(画像認識、自然言語処理など)で使用されるデータセットよりもはるかに少ないからである。 0.74
At the same time, predicting molecular properties requires more sophisticated neural architectures to process irregular molecular structures, which is different from image processing problems which have regular spatial patterns within image patches. 同時に、分子特性を予測するには、不規則な分子構造を処理するためにより洗練された神経アーキテクチャが必要です。
訳抜け防止モード: 同時に。 分子特性を予測し 不規則な分子構造を処理するには より洗練された神経構造が必要です イメージパッチ内の通常の空間パターンを持つ画像処理問題とは異なる。
0.78
Therefore, it has become necessary to explore the performance of existing HPO methods on GNNs in molecular domains. したがって、分子ドメインにおけるGNNに対する既存のHPO法の性能を調べる必要がある。 0.78
This motivates our research, and we conducted methodology comparison and experimental analysis for RS, TPE, and CMA-ES to assess their effects of on GNNs as HPO methods. 本研究は本研究の動機となり, RS, TPE, CMA-ESの方法論比較, 実験分析を行い, GNNをHPO法として評価した。 0.81
We expect that our research can inform researchers in both molecular machine learning and chemistry and material sciences. われわれの研究は、分子機械学習と化学と物質科学の両方の研究者に情報を与えることができると期待している。 0.64
The contributions of our research are summarized as below: 私たちの研究の貢献は以下の通りである。 0.78
• We conducted systematic experiments to compare and analyse HPO methods including RS, TPE, and CMA-ES for GNN in molecular domain in terms of their features, computational cost, and performance. 分子領域におけるGNNに対するRS,TPE,CMA-ESなどのHPO法を,それらの特徴,計算コスト,性能の観点から比較,解析するための系統的実験を行った。 0.74
• Our research on HPO for GNN can be applied to a wider •hpo for gnnに関する我々の研究は、より広い範囲に適用できる 0.72
range of domains such as physical and social sciences. 物理科学や社会科学などの領域の範囲。 0.68
• The outcomes of our research will contribute to the development of molecular machine learning [24] as well as HPO for GNNs in general. •本研究の結果は分子機械学習 [24] の発達に寄与し, GNN 全般の HPO にも貢献する。 0.73
The rest of this paper is organized as follows. 本論文の残りは以下のとおり整理される。 0.76
In Section 2, the related work of RS, TPE, and CMA-ES will be presented. 第2節では、RS、TPE、CMA-ESの関連作品を紹介します。 0.49
In Section 3, we will conduct methodology comparison of RS, TPE, and CMA-ES. 第3部では、RS、TPE、CMA-ESの方法論比較を行います。 0.62
Thereafter, the design of experiments and detailed experimental results will be described and discussed in Section 4. その後、実験の設計と詳細な実験結果を説明し、第4節で説明します。 0.76
Finally, in Section 5, conclusions and future work will be given. 最後に、セクション5で結論と今後の作業が与えられます。 0.72
2 RELATED WORK 2.1 Random Search 関連作業2 2.1 ランダム検索 0.69
Algorithm 1: Random Search (RS) [5] アルゴリズム 1: ランダム検索 (RS) [5] 0.77
1 RS ( ,  ,  ); 2 for  ← 1 to T do 1 RS (t , t , t , t , t ) 2 for t , 1 to T do 0.73
3 4  ←  ; Evaluate  (); H ← H ∪ (,  ()); 3 4 H(H)は、H(H)、H(H)、H(H)、H(H)、H(H)、H(H)、H(H)をそれぞれ評価する。 0.62
5 6 end 7 return H 5 6 end 7 return H 0.85
Random Search (RS) [5] is an approach that uses uniform probability in determining iterative procedures at the price of optimality [30], and it is helpful for handling many ill-structured global optimization problems with continuous and/or discrete variables [30] such as HPO. ランダム探索 (rs) [5] は最適化価格で反復手順を決定するのに一様確率を用いるアプローチ (30]) であり、hpoのような連続変数や離散変数 [30] で多くの不規則大域最適化問題を扱うのに有用である。 0.86
The process of applying RS for HPO is shown in Algorithm 1. HPOにRSを適用するプロセスはアルゴリズム1に示されている。 0.74
In Line 3 of Algorithm 1, a solution  (i.e. アルゴリズム 1 の 3 行目では、解 (すなわち、解) が成り立つ。 0.60
a set of hyperparameter values) is sampled from a uniform distribution  , and then evaluated on objective function  () in Line 4, which is normally the most expensive step. ハイパーパラメータ値の集合) を一様分布からサンプリングし、その後、通常最も高価なステップである4行目における対物関数(英語版)で評価される。 0.66
The result of evaluation  () and the solution  is paired and recorded in H . 評価の結果は, Hで, 解はHで, 解はHで表される。 0.48
The procedures from Line 3 to 3番線からの手続きです。 0.67
Line 5 are iteratively executed  times. 5行目は繰り返し実行される。 0.72
Finally, the best solution is obtained by sorting historic solutions in H according to their corresponding  () values. 最後に、最も良い解は、H の歴史的解を対応する > ( ) の値に従ってソートすることで得られる。
訳抜け防止モード: 最後に、最良のソリューションが得られます。 H の歴史的な解を対応する s の値に従って並べ替える。
0.72
Furthermore, Bergstra. さらに、Bergstra。 0.67
J et al. [5] holds the opinion that RS is the natural baseline for sequential HPO methods. j等。 5] RSはシーケンシャルHPOメソッドの自然なベースラインである、という意見を持っている。 0.57
Meanwhile, it is noted that Zelda B. 一方、ゼルダBは注目されています。 0.59
[30] considered that RS is likely to be able to solve large-scale problems efficiently in a way that is not possible for deterministic algorithms. 30] 決定論的アルゴリズムでは不可能であるような方法で,rs は大規模問題を効率的に解くことができると考えられる。 0.80
However, when using RS for HPO, the disadvantage is that its performance accompanied by high variance, and it may not produce satisfactory results given a larger search space and limited computational resource. しかし、HPOにRSを使用する場合、その性能は高いばらつきを伴い、より大きな検索空間と限られた計算リソースを考えると満足のいく結果が得られない可能性があります。 0.64
2.2 TPE Algorithm 2: TPE [4] 2.2 TPE アルゴリズム2: TPE[4] 0.72
1 TPE ( , 0, , ); 2 for  ← 1 to T do 1 TPE (t , t , t , t , t , t , t , t , t ) 0.67
3 4 5 ∗ ← argmax  (,  −1); Evaluate  (∗); H ← H ∪ (∗,  (∗)); Fit a new model  to H ; 3 4 5 H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H , H ,
訳抜け防止モード: 3 4 5 ∗ ← argmax  ( ,  −1 ) ; Evaluate  ( ∗ ) ; H ← H ∪ ( ∗, H への新しいモデル ; を ; に適合させる。
0.84
6 7 end 8 return H 6 7 end 8 return H 0.85
The problems of expensive evaluation on fitness function can be solved by sequential model-based global optimization (SMBO) algorithms [4, 15, 16]. 適合関数のコスト評価の問題は,逐次モデルに基づくグローバル最適化 (smbo) アルゴリズム [4,15,16] によって解決できる。 0.87
In HPO, challenge is that the fitness function  : X → R may be expensive to evaluate given a trial of hyperparamters. HPOの課題は、超パラメタの試行によって、フィットネス関数 × : X → R を高く評価することである。 0.73
By using model-based algorithms with a surrogate to approximate  can reduce the evaluation cost. サロゲートを持つモデルベースのアルゴリズムを使用することで、評価コストを削減できる。
訳抜け防止モード: サロゲートを近似するモデルベースアルゴリズムを使用することで 評価コストを削減できます
0.86
Typically, the core of an SMBO algorithm is to optimise the surrogate for the real fitness function, or some transformation of the surrogate. 通常、smboアルゴリズムの核心は、実際の適合関数やsurrogateの変換のためにsurrogateを最適化することである。 0.63
The two key components of SMBO algorithms are (1) what criterion is defined and optimized to obtain promising solutions given a model (or surrogate) of  , and (2) how  can be approximated via historical trials/solutions. smboアルゴリズムの2つの重要な構成要素は、(1) のモデル(またはサロゲート)に対して有望な解を得るためにどの基準を定義し最適化するか、(2) 歴史的試練/解によってどのように近似するかである。
訳抜け防止モード: SMBOアルゴリズムの2つのキーコンポーネントは ( 1 ) What criterionである のモデル(または代理)が与えられた有望な解を得るように定義され、最適化されている。 そして (2 ) は歴史的試行錯誤や解法によって近似できる。
0.70
Tree-structured Parzen Estimator (TPE) [4] is an approach based on SMBO, as shown in Algorithm 2. Tree-structured Parzen Estimator (TPE) [4]は、アルゴリズム2に示すように、SMBOに基づくアプローチです。 0.81
Compared with RS, it makes the significant change in Line 3, in which solutions are sampled by , instead of uniform distribution  . RS と比較すると、一様分布 (uniform distribution ) を使わずに解のサンプル化を行うような 3 行目において有意な変化がおこなわれる。 0.61
In , many candidates  are drawn according to surrogate model  and the one (∗) with the most promising performance evaluated by Expected Improvement (EI, introduce later) is returned [17]. s では、多くの候補 s がサロゲートモデル (sulrogate model) によって引き出され、最も有望な性能が期待改善 (ei, 後に導入) によって評価された 1 が [17] で返される。 0.67
In Line 4, ∗ is then evaluated on fitness function  and recorded in H in Line 5. 4行目は、フィットネス機能で評価され、5行目ではHで記録されます。 0.70
In Line 6, the surrogate  is optimised to approximate the real fitness function by updated H . ライン6では、サーロゲートは更新されたHによって実際のフィットネス機能を近似するために最適化されます。 0.54
Finally, the best solution can be obtained by sorting H after  iterations. 最後に、最良の解は、H の繰り返しの後に並べ替えることによって得られる。 0.61
In the following paragraphs, we will review the most important work in TPE based on SMBO in detail. 下記の段落では、SMBOに基づくTPEにおける最も重要な作品について詳しく検討する。 0.64
In TPE, EI [17] has been chosen as the criterion to guide the search for optimal solution(s), and it keeps the balance between exploitation and exploration during the search process. TPEでは、EI [17]が最適なソリューションの探索を導く基準として選ばれており、検索プロセス中の活用と探索のバランスを保っています。 0.69
The utility function is defined as  () = max (0,  ′ −  ()), where  ′ denotes the output of the current best solution, and  is the solutions we want to find whose  () is expected as smaller as possible than  ′. 効用函数は、現在の最良解の出力を s ( ) = max ( 0 ) と定義され、ここで s ′ は現在の最良解の出力を表し、 s は s ′ よりも可能な限り小さく期待されるような解である。
訳抜け防止モード: 効用関数は、max ( 0, ) = max ( 0, ) ) と定義される。 ここで s ′ は現在の最良解の出力を表す。 そして、その解を探りたいのは、その解は、 s ′ よりも、できる限り小さいと期待される。
0.56
The value of the difference between  ′ and  () will be return s ′ と s ′ の差の値が返される 0.47
英語(論文から抽出)日本語訳スコア
A Systematic Comparison Study on Hyperparameter Optimisation of Graph Neural Networks グラフニューラルネットワークのハイパーパラメータ最適化に関するシステム比較研究 0.87
2021, Feb, 05 2021年2月05日 0.87
EI∗ () := ∫ ∞ 英: EI ∞) := y ∞ 0.58
as a reward. In each iteration, the optimal solution ∗ is given by −∞ max (∗ − , 0)  ( | ), where  ( | ) is the surrogate of the real fitness function, and ∗ represents some quantile of the observed  values. 報酬として 各反復において、最適解 s は −∞ max と −∞ max によって与えられる。ここでは、実フィットネス関数の代理であり、 s は観測された s 値の幾らかの量子化を表す。
訳抜け防止モード: 報酬として それぞれの反復において、最適解 ∗∗ は −∞ max によって与えられる。 0 )  (  | ), where 真適合関数 (real fitness function) のサロゲート (surrogate) である。 および ∗∗ は観測された s の値の定位数を表す。
0.71
Meanwhile, modelling of  ( | ) is costly, and TPE proposes an indirect way to model  ( | ) (Eq. 一方、モデル化はコストがかかり、tpeは間接的にモデル化する方法を提案している(eq)。
訳抜け防止モード: 一方、モデル化はコストがかかる。 そして、tpe は、間接的に s をモデル化する方法を提案している( eq )。
0.61
1).  ( | ) is defined by Eq. 1). は Eq によって定義される。 0.68
2.where ℓ () and () are two density functions modelled by Parzen Estimator [23], a non-parametric method to approximate the probability density function of a random variable. 2.ここでは、l はパーゼン推定器 [23] によってモデル化された2つの密度関数であり、ランダム変数の確率密度関数を近似する非パラメトリック法である。 0.83
The collected observations are sorted by loss of  , and are divided into two groups based on some quantile. 収集された観測は s の損失によって分類され、いくつかの分位数に基づいて2つのグループに分けられる。 0.64
ℓ () is generated by using l ( ) は使用によって生成される 0.82
the observations n ()o such that the corresponding loss  () was 可算名詞 (n, n, n)o) は、対応する損失 n, n のことを言う。 0.30
less than ∗ and the remaining observations are used to generate (). σ∗ 以下であり、残りの観測は s(*) を生成するのに使用される。 0.42
In practice, a number of hyperparameter settings are sampled according to ℓ, evaluated in term of ()/ℓ () , and the one that yields the minimum value under ℓ ()/() corresponding to the greatest EI is returned. 実際には、複数のハイパーパラメータ設定を l に従ってサンプリングし、その値の最小値を最大 EI に対応する l 以下の値とする値を返す。 0.40
This solution is then evaluated on the fitness function, and we call this process a trial. このソリューションは、その後、フィットネス機能で評価され、我々はこのプロセスを試行と呼びます。 0.70
In this way, () and ℓ () are optimized according to the updated observation set, thus the exploration of optimal solutions moves to more promising regions of the whole search space by increasing the densities. この方法では、更新された観測セットに従って ・( ) と l( ) が最適化されるため、最適な解の探索は、密度を増やすことによって、検索空間全体のより有望な領域に移動します。 0.69
 ( | ) =  ( | ) = 0.85
 ( | ) ∗  ()  ( | ) ∗  () 0.85
 ()  ( | ) = (cid:26) ℓ ()  ()  ( | ) = (cid:26) ℓ () 0.91
() if  < ∗ if  ≥ ∗ () 下記の条件は、下記の条件で、下記の条件で、下記の条件を満たす。 0.48
(1) (2) In TPE, Tree-structure means that the hyperparameter space is tree-like, and the value chosen for one hyperparameter determines what hyperparameter will be chosen next and what values are available for it. (1) (2) TPEでは、ツリー構造はハイパーパラメータ空間がツリーライクであり、1つのハイパーパラメータに選択された値は、次に選択されるハイパーパラメータと、そのために利用可能な値を決定する。 0.79
2.3 CMA-ES 2.3 CMA-ES 0.50
Algorithm 3: CMA-ES [13] アルゴリズム3: CMA-ES [13] 0.85
1 CMA-ES(  , , N ); 2 for  ← 1 to G do 1 CMA-ES( t , t , t , N ); 2 for t t 1 to G do 0.81
for  ← 1 to K do 1 対 k に対して 0.34
  ← N ;  end for  ← 1 to K do    略称はN。 1 から K へは終了します。 0.52
(cid:17); Evaluate  (cid:16) H ← H ∪ (cid:16) ,  (cid:16) (cid:17) を評価 (cid:16) し、hは (cid:16) であり、hは (cid:16) である。 0.71
   (cid:17)(cid:17);    (cid:17)(cid:17) 0.82
3 4 5 6 7 8 3 4 5 6 7 8 0.85
9 end Update N 9 End Update N 0.83
10 11 end 12 return H 10 11 end 12 return H 0.85
Covariance matrix adaptation evolution strategy (CMA-ES) [13] is a derivative-free evolutionary algorithm for solving black-box optimization problems, and it has been applied for HPO with largescale parallel GPU computational resources [4, 21]. 共分散行列適応進化戦略 (CMA-ES) [13] はブラックボックス最適化問題を解決するための微分自由進化アルゴリズムであり, 大規模並列GPU計算資源を用いたHPOに適用されている [4, 21]。 0.82
The pseudo-code of CMA-ES is shown in Algorithm 3. CMA-ESの擬似コードはアルゴリズム3で示される。 0.75
In Line 4, a solution  並んで 4、ソリューション。 0.49
()  is generated by sampling from a multivariate ()  多変量からのサンプリングによって生成されます 0.73
normal distribution N until the size of the population is satisfied, where  denotes the index of offspring and  for generation. 人口の大きさが満たされるまでの正規分布は n であり、ここでは s は子孫の指数を表し、世代は s である。 0.66
Thereafter, in Line 7, the individuals of  will be evaluated on fitness function  and recorded in  . その後、7行目には、フィットネス機能で評価され、シュで記録されます。 0.55
In Line 10, similar to TPE, it exploits the historical information  to optimise the search process. TPEに類似した10行目では、検索プロセスの最適化に歴史的情報 ^ を利用する。 0.69
However, it is noted that CMA-ES optimises N rather than the surrogate, and we will discuss this in the following paragraphs. しかし、CMA-ESはサロゲートではなくNを最適化していることに注意し、以下の段落で議論する。 0.57
In CMA-ES, the multivariate distribution is re-defined. CMA-ESでは、多変量分布が再定義される。 0.57
Specifically, a population of solutions +1 (i.e., individuals or offspring) is generated by sampling from a multivariate normal distribution 具体的には、多変量正規分布からサンプリングすることにより、溶液の集団(すなわち、個人または子孫)が生成される。 0.67
N (Eq. 3). N (Eq)。 3). 0.87
In Eq. 3, N (cid:16)0,  ()(cid:17) is a multivariate normal distribution Eq。 3, N (cid:16)0, ^ (cid:17) は多変量正規分布である。 0.69
with zero mean and covariance matrix  () . ゼロ平均および共分散のマトリックスと(*)。 0.72
The later decides the distribution shape, and describes the correlations of the variables. 後者は分布形状を決定し、変数の相関を記述する。 0.68
Meanwhile,  () represents the mean value which is the centroid of the distribution, and it determines the search region of the whole search space in generation . その間、その分布のセントロイドである平均値(*)を表し、代々代々の検索空間全体の検索領域を決定します。 0.61
 () represents the step size which also decides the global variance; in other words, it controls the size of the region. は、大域的分散を決定するステップサイズを表しており、言い換えれば、その領域の大きさを制御する。 0.51
 (+1)  ∼  () +  () N (cid:16)0,  ()(cid:17)  (+1)  N (cid:16)0)、N (cid:17)、N (cid:16)、N (cid:17)。 0.77
for  = 1, . は 1 = 1 である。 0.70
. . , , (3) . . , , (3) 0.85
To promote the efficiency of sampling, the key is to update  (+1) , サンプリングの効率を向上するため、鍵となるのが > を更新することである。 0.60
 (+1) , and  (+1) for the new generation. 新世代向けには、(+1)、(+1)、(+1)である。 0.49
The mean is updated by the weighted average of  selected individuals by  (+1) 平均値の重み付き平均値は、選択した個体の重み付き平均値で更新される。 0.55
=  () +  =  () +  0.85
 =1  (cid:16) シュ=1 シュ (cid:16) シュ。 0.49
(+1) : −  ()(cid:17), where  means corresponding (+1) : −(cid:17) は対応する意味を持つ。 0.77
weights to  . The selection is according to the performance of individuals on the objective function. 重みから重みまで。 選択は、目的関数における個人のパフォーマンスに応じて行われる。 0.70
The novelty of CMA-ES is that it adapts the covariance matrix by combining rank--update and rank-one update [2]. CMA-ESの新規性は、ランク更新とランクワン更新を組み合わせた共分散行列を適応させることである[2]。 0.62
In this way, rank-µ update can efficiently make use of the information from the entire population. このように、ランクμ更新は、人口全体からの情報を効率的に利用することができます。 0.66
At the same time, rank-one update can be used to exploit the information of correlations among generations from the evolution path. 同時に、ランクワンアップデートを使用して、進化経路から世代間の相関情報を利用することもできる。 0.71
This solution keeps the balance between less generations with large population and more generation with smaller population. このソリューションは、人口の少ない世代と少ない人口のより多くの世代のバランスを維持します。 0.76
Additionally, CMA-ES introduces the mechanism of step-size control based on evolution path (cumulative step-size adaptation of the global stepsize) which aims to approximate the optimal overall step length efficiently by evolution path, because co-variance matrix may not be able to find the optimal overall step length efficiently. さらに、CMA-ESは、進化経路(グローバルなステップサイズ適応の累積的なステップサイズ)に基づくステップサイズ制御のメカニズムを導入し、進化経路によって最適な全体的なステップ長を効率的に近似することを目的としている。 0.79
Generally, CMA-ES imitates the biological evolution, assuming that no matter what kind of gene changes, the results (traits) always follow a Gaussian distribution of a variance and zero-mean. 一般的に、CMA-ESは生物学的進化を模倣し、どんな遺伝子が変化しても、結果(痕跡)は常にバラツキとゼロ平均のガウス分布に従うと仮定する。 0.72
Meanwhile, the generated population is evaluated on objective function, a part of well performed individuals is selected to guide evolution, moving to the area where better individuals would be sampled with higher probability. 一方、生成された集団は客観的な機能で評価され、よく実行された個人の一部が進化を導くために選択され、より良い個人がより高い確率でサンプリングされる領域に移動します。
訳抜け防止モード: 一方、生成した人口は客観的機能に基づいて評価される。 成績の良い個人の一部が選ばれ 進化を導くために より良い個体が より高い確率で 採取される地域に移動します
0.74
3 METHODOLOGY COMPARISON 3.1 Common Features 3 方法論比較 3.1 共通機能 0.64
• Randomness plays an important role in RS, TPE and CMAES. •無作為性はRS、TPEおよびCMAESで重要な役割を担います。 0.69
RS is supported by a number of independent uniform distributions with random sampling to explore hyperparameter space and find optimal solution. rs は、ハイパーパラメータ空間を探索し最適な解を見つけるためにランダムサンプリングを持つ多くの独立した一様分布によってサポートされている。
訳抜け防止モード: RSは無作為サンプリングを含む多くの独立した一様分布によって支持される ハイパーパラメーター空間を探索し 最適解を見つけます
0.72
TPE and CMA-ES both have exploitation and exploration mechanisms, which means TPEとCMA-ESの両方にエクスプロイト機構と探索機構があります。 0.67
英語(論文から抽出)日本語訳スコア
2021, Feb, 05 2021年2月05日 0.87
Yingfang Yuan, Wenjun Wang, and Wei Pang Yingfang Yuan、Wenjun Wang、およびWei Pang。 0.80
they are given a more specific region of search space to explore compared with RS. それらは rs と比較して探索する検索空間のより特定の領域を与えられている。 0.66
TPE draws samples with randomness over the space of density function of ℓ (). TPE は l ( ) の密度関数の空間上でランダムなサンプルを描画する。 0.82
Meanwhile, the sampling in CMA-ES is backed by a multivariate distribution. 一方、CMA-ESのサンプリングは多変量分布によって支持される。 0.62
• Derivative-free denotes that the approach do not use derivative information to guide the search for optimal solutions. • デリバティブフリーは、アプローチが最適なソリューションの探索を導くためにデリバティブ情報を使用しないことを示します。 0.68
For RS, TPE, and CMA-ES, as the last paragraph described, they search for the optimal solutions depending on drawing samples with randomness, rather than using gradient information as in the training of neural networks. 前項で述べたRS, TPE, CMA-ESでは, ニューラルネットワークのトレーニングのように勾配情報を使用するのではなく, ランダムなサンプルの描画によって最適な解を求める。 0.73
• Termination Condition As Section 2 shows, RS, TPE, and CMA-ES all have loops which means they need to preset the condition to stop the optimisation. • 終了条件 セクション2が示すように、RS、TPE、CMA-ESはすべてループを持ち、最適化を止めるために条件をプリセットする必要がある。 0.77
However, this situation might cause dilemma of balancing computational cost and performance. しかし、この状況は計算コストと性能のバランスをとるジレンマを引き起こす可能性がある。 0.59
3.2 Specific Features • Uniform Distribution vs Multivariate Normal Distribution vs Gaussian Mixture Model The uniform distribution is a symmetric probability distribution which gives a finite number of values with equal probability to be drawn. 3.2 特徴 • 均一分布 vs 多変量正規分布 vs ガウス混合モデル 均一分布は、描画される確率が等しい値の有限数を与える対称確率分布である。 0.82
Meanwhile, in RS, the dimension of hyperparameter solutions corresponds to the required number of uniform distributions, and each individual uniform distribution is independent. 一方、RSでは、ハイパーパラメーター解の次元は必要な一様分布の数に対応し、各一様分布は独立である。 0.66
In contrast, in CMA-ES, multivariate distribution is a distribution used to approximately describe a set of correlated real-valued random variables, each of which clusters around a mean value. 対照的に、CMA-ESでは、多変量分布は、関係のある実値のランダム変数の集合をおよそ記述するのに用いられる分布である。 0.76
Furthermore, TPE makes use of Gaussian mixture model which assumes all the point are generated from a mixture of a number of Gaussian distributions with unknown parameters. さらに、TPEはガウス混合モデルを用いて、すべての点が未知のパラメータを持つ多数のガウス分布の混合から生成されると仮定する。 0.76
• Model-based vs Model-free These are two distinct approaches •モデルベース vs モデルフリー これらは2つの異なるアプローチである 0.63
originally defined in reinforcement learning [12]. 元々は強化学習[12]で定義されました 0.69
RS is a very representative model-free approach which directly search better solutions via a process of trial-and-error. RSは、試行錯誤のプロセスを通じてより良いソリューションを直接検索する、非常に代表的なモデルフリーアプローチです。 0.62
In contrast, TPE is a model-based approach which firstly uses density functions ℓ () and () to model hyperparameter space in terms of the surrogate, then searching solutions over the space of the functions. 対照的に、tpe はモデルに基づくアプローチであり、まず密度関数 l ( ) と /( ) を用いて超パラメータ空間をサーロゲートの観点でモデル化し、次に函数の空間上の解を探索する。 0.75
• Evolutionary Strategy vs Bayesian Optimisation The main idea of applying evolution strategies to black box optimization is to search through iterative adjustment of a multivariate normal distribution. 進化戦略対ベイズ最適化 ブラックボックス最適化に進化戦略を適用する主なアイデアは、多変量正規分布の反復調整を通して探索することである。
訳抜け防止モード: • 進化戦略対ベイズ最適化 進化戦略をブラックボックス最適化に適用する主なアイデアは、 多変量正規分布の反復調整を通じて探索する。
0.87
The distribution is controlled by the mean and co-variance, which are adjusted and moved to the area where better solutions could be sampled with higher probability. 分布は平均と共分散によって制御され、より良いソリューションがより高い確率でサンプリングできる領域に調整および移動されます。 0.84
The adjustment generally has four main steps: sampling, evaluation, selection of good individuals, and updating the mean and co-variance by selected individuals. 調整は通常、サンプリング、評価、良い個人の選択、選択した個人の平均と共分散を更新する4つの主要なステップを持つ。 0.66
In contrast, in TPE, it starts by Bayesian optimisation to approximate the distribution of hyperparameters and objective function. 対照的に、TPEでは、ハイパーパラメータと目的関数の分布を近似するためにベイズ最適化から始める。 0.72
Instead of using Gaussian Process to model the distribution, TPE makes use of Parzen estimator (i.e., kernel density estimation). 分布をモデル化するためにガウス過程を使う代わりに、TPEはParzen estimator(カーネル密度推定)を使用している。 0.79
The posterior distribution is unceasingly updated to approximate the real situation, and an 後方分布は、実際の状況を近似するために絶え間なく更新される。 0.66
acquisition function (TPE uses EI as the acquisition function) is used to approach optimal solution. 取得機能(TPEはEIを取得機能として使用)を使用して、最適なソリューションにアプローチします。 0.64
4 EXPERIMENTAL INVESTIGATION In this section, we first describe the design of our systematic experiments, and analysed the experimental results. 4 実験的調査 このセクションでは、まず体系的な実験の設計を説明し、実験結果を分析します。 0.79
We then conducted four sets of experiments in Sections 4.2 and 4.3, to compare RS, TPE, and CMA-ES from the perspective of performance and computational cost. 次にセクション4.2と4.3で4つの実験を行い、性能と計算コストの観点からRS、TPE、CMA-ESを比較した。 0.73
4.1 Experimental Settings To investigate the performance of HPO methods for GNN on molecular property prediction, three representative datasets from DeepChem [28] were selected in our experiments: ESOL (1128 records), FreeSolv (642 records), and Lipophilicity (4200 records), which respectively correspond to the tasks of predicting the following molecular properties: water solubility, hydration free energy, and octanol/water distribution coefficient. 4.1 実験的設定 分子特性予測におけるGNNのHPO法の性能を調べるため,ESOL(1128レコード),FreeSolv(642レコード),Lipophilicity(4200 レコード)の3つの代表的なデータセットが選択された。
訳抜け防止モード: 4.1 分子特性予測におけるhpo法の性能評価のための実験的検討(gnn,一般セッション) deepchem [28 ] から得られた3つの代表的なデータセットはesol (1128 レコード) であった。 freesolv (642 レコード) と lipophilicity (4200 レコード) それぞれが担当するタスクに対応しています 分子特性:水溶性、水和自由エネルギー、オクタノール/水分配係数。
0.78
These properties are crucial in many problems. これらの特性は多くの問題で重要です。 0.70
For example, in drug discovery, lipophilicity is an important property to reflect the affinity of a molecule, and it affects both membrane permeability and solubility [20]. 例えば、薬物発見において、リポフィリティーは分子の親和性を反映する重要な性質であり、膜透過性と溶解性の両方に影響を与える[20]。 0.74
Furthermore, the research presented in [7] analyses molecular solubility data for exploring organic semiconducting materials. さらに, 有機半導体材料を探索するための分子溶解度データの解析を行った。 0.77
Therefore, the above three representative molecular property datasets are worth investigating and will benefit the research of many related problems. したがって、上記の3つの代表的な分子特性データセットは、多くの関連する問題の研究に役立つ。 0.75
Using different sizes of datasets in experiments is helpful for us to conduct more comprehensive analyses. 実験で異なるサイズのデータセットを使用することは、より包括的な分析を行う上で役立ちます。
訳抜け防止モード: 実験におけるデータセットの異なるサイズの使用 より包括的な分析を行うのに役立ちます
0.81
Meanwhile, there are many GNN variants, and we chose graph convolutional network (GC) [8] because it was proposed considering the molecular domain background knowledge. 一方、多くのGNN変異があり、分子ドメインの背景知識を考慮して提案されたので、グラフ畳み込みネットワーク(GC)[8]を選びました。 0.70
The architectures of GC generalise the chemical operation of circular fingerprint [11] to extract molecular features. GCのアーキテクチャは、循環指紋[11]の化学操作を一般化し、分子の特徴を抽出します。
訳抜け防止モード: GCのアーキテクチャは円形指紋の化学操作を一般化する[11] 分子の特徴を抽出します
0.80
Four hyperparameters of GC are selected for HPO: batch size  , learning rate  , the number of fully-connected layer nodes , and the number of nodes in filter   . GCの4つのハイパーパラメータは、HPOのために選択されます:バッチサイズ、学習率、完全に接続されたレイヤノードの数、およびフィルタのノードの数。 0.75
The selection is motivated by the related benchmark work presented in [28] and considers molecular domain knowledge. 選択は[28]で提示された関連するベンチマーク作業によって動機づけられ、分子ドメインの知識を考慮します。 0.60
RS, TPE, and CMA-ES are implemented by Optuna [1]. RS, TPE, CMA-ES は Optuna [1] によって実装されている。 0.60
The arguments of HPO methods in our experiments are set empirically or default values offered by Optuna. 実験におけるHPOメソッドの引数は、Optunaが提供する経験的あるいはデフォルト値として設定される。 0.67
Meanwhile, considering that most practitioners/resear chers do not have sufficient large-scale GPU computational resources as in industry (e.g., DeepMind, FAIR), we would like to assess the performance of HPO given limited resource, so our experiments all are conducted on a single GPU (GeForce GTX 1070), while the MedianPruner technique [1] is used to speed up HPO. 一方、ほとんどの実践者や研究者は、業界(例えばDeepMind、FAIR)ほど大規模なGPU計算資源を持っていないので、HPOの性能を限られたリソースで評価したいので、実験はすべて単一のGPU(GeForce GTX 1070)で実施し、MedianPruner技術[1]はHPOを高速化するために使用します。 0.79
We expect our experimental outcomes would inspire and help other people when they face similar HPO problems and are given limited computational resource. 我々は、同様のHPO問題に直面し、限られた計算資源が与えられると、実験結果が他の人々に刺激を与え、助けることを期待しています。
訳抜け防止モード: 実験の結果が他の人を刺激し助けると期待しています 同様のhpoの問題に直面しています 限られた計算資源が与えられます
0.57
In our experiments, every dataset is split into training, validation, and test sets with 80%, 10%, and 10%. 私たちの実験では、データセットは80%、10%、10%のトレーニング、検証、テストセットに分割されています。 0.73
The training set is used to fit GC given a hyperparameter setting, and the validation set provides an unbiased evaluation of the hyperparameters during the search. トレーニングセットはハイパーパラメータ設定のGCに適合するために使用され、検証セットは検索中にハイパーパラメータのバイアスのない評価を提供する。 0.84
The test set is used to evaluate the performance of HPO methods. テストセットはHPO法の性能評価に使用される。 0.72
The evaluation metric is the root mean square error (RMSE) of GC, and the evaluation function is defined by the loss function of GC. 評価基準はGCの根平均二乗誤差(RMSE)であり、評価関数はGCの損失関数によって定義される。 0.76
To make our experiments more persuasive, the best hyperparameter settings found by each method are given to 実験をより説得力のあるものにするために、各メソッドが見つける最高のハイパーパラメータ設定が与えられます。
訳抜け防止モード: 実験をより説得力のあるものにするためです 各メソッドが見つける最も良いハイパーパラメータ設定は
0.82
英語(論文から抽出)日本語訳スコア
A Systematic Comparison Study on Hyperparameter Optimisation of Graph Neural Networks グラフニューラルネットワークのハイパーパラメータ最適化に関するシステム比較研究 0.87
2021, Feb, 05 2021年2月05日 0.87
GC, and then the GC is run for 30 times independently to calculate the mean of RMSEs on the training, validation, and test datasets. GCは30回独立して実行され、トレーニング、検証、テストデータセットにおけるRMSEの平均を計算します。 0.66
Meanwhile, to statistically analyse the difference between those means, we conducted corresponding t-tests, in which  denotes value and ℎ represents the hypothesis. 一方、これらの平均間の差を統計的に分析するために、対応する t-検定を行い、ここでは s は値、h は仮説を表す。
訳抜け防止モード: 一方、これらの手段の違いを統計的に分析する。 対応する t- テストを行い h は仮説を表し、h は仮説を表す。
0.68
Empirically, during HPO, we found that the results of evaluating each trial often fluctuated, and to minimize this effect on HPO performance evaluation, we use the mean value of RMSEs from three repeated evaluations of GC as a single evaluation value. 実験的に,HPOでは,各試行評価の結果が変動することが多く,HPO性能評価におけるこの影響を最小限に抑えるために,GCの3回の繰り返し評価からRMSEの平均値を1つの評価値として用いた。 0.82
4.2 Computational Cost as a Primary 4.2 プライマリとしての計算コスト 0.68
Consideration In this section, we assess the performance of RS, CMA-ES, and TPE, while considering the computational cost as a priority. 考察 本稿では,計算コストを優先して,RS,CMA-ES,TPEの性能を評価する。
訳抜け防止モード: 考察 本稿では,RS,CMA-ES,TPEの性能評価を行う。 計算コストを最優先事項としています
0.67
In HPO, any discuss and analysis of method performance without considering computational cost is argumentative, because naive RS can find optimal solutions if given sufficient time and computational budget, and it is a highly friendly approach for parallel computing. HPOでは、計算コストを考慮せずにメソッドのパフォーマンスを議論および分析することは議論的です。なぜなら、ナイーブRSは十分な時間と計算予算を与えられれば最適なソリューションを見つけることができ、並列計算のための非常に友好的なアプローチです。 0.67
Therefore, any comparison of HPO methods must be performed with acceptable computational cost. したがって、HPO法の比較は許容可能な計算コストで行う必要がある。 0.73
4.2.1 General Experiments. 4.2.1 一般実験 0.67
Different HPO methods employ different optimisation strategies. 異なるHPO法は異なる最適化戦略を用いる。 0.73
To compare them fairly, we firstly proposed to assign each of them with a total of 100 trials, assuming all HPO methods having equal computational cost. これらを公平に比較するために,我々は,計算コストが等しいすべてのhpo法を想定して,それぞれに合計100回の試行を割り当てる提案を行った。
訳抜け防止モード: 公平に比較します。 最初に100件の試行を 割り当てることを提案しました 等価な計算コストを持つすべてのHPOメソッドを仮定する。
0.81
In other word, RS, TPE, and CMA-ES all have 100 opportunities to evaluate the hyperparameter settings on GC. 言い換えれば、RS、TPE、CMA-ESはすべてGC上のハイパーパラメータ設定を評価する100の機会を持っています。 0.59
Tables 1∼3 summary the experiments of RS, TPE, and CMAES, respectively on three datasets: ESOL, FreeSolv, and Lipophilicity from DeepChem over the defined search space where batch size  and the number of nodes in filter   range from 32 to 256 with the incremental step 32; learning rate  is from 0.0001 to 0.0016 with the incremental step of 0.0001; the number of nodes in fully-connected layer  is from 64 to 512, with the step of 64. 表1~3では、それぞれ3つのデータセットでrs、tpe、cmaesの実験を要約している: esol、freesolv、lipophilicity from deepchem over the defined search space where batch size ~ and the number of node in filter 256 range from 32 to 256 with the incremental step 32; learning rate ~ is 0.0001 to 0.0016 with the incremental step of 0.0001; the number of nodes in full-connected layer stan, with 64 - 512, with the step of 64)。 0.77
This search space has 213 solutions in total. この探索空間には合計213の解がある。 0.67
Meanwhile, t-test with  = 5% is employed to determine if there is a significant difference between the means of RMSEs. 一方、RMSEの手段間に有意差があるかどうかを判断するために、 t = 5% の t-test を用いる。 0.76
ℎ = 0 denotes null hypothesis that the performance of GC under the two hyperparameter settings do not have significant difference; ℎ = 1 means rejecting the equal mean hypothesis. h = 0 は2つのハイパーパラメータの設定下での gc のパフォーマンスに有意な差がないというヌル仮説を意味し、h = 1 は等平均仮説を拒絶することを意味する。
訳抜け防止モード: h = 0 は null 仮説を表す 2つのハイパーパラメータ設定でのGCのパフォーマンスには大きな違いはない ; h = 1 は等しい平均仮説を拒絶することを意味する。
0.79
The t-test results of Tables 1∼3 are respectively summarised in Tables 4∼6. 表1〜3のt検定結果は表4〜6にまとめられる。 0.60
In Tables 1 and 2, TPE and CMA-ES did not present significant difference on performance on the test set (see Tables 4 and 5), but the hyperparameter settings they found have different   and  in both datasets. 表 1 と 2 では、TPE と CMA-ES はテストセットのパフォーマンスに大きな差は示さなかった(表 4 と 5 を参照)。
訳抜け防止モード: 表1と2では、TPEとCMA - ESはテストセットのパフォーマンスに大きな違いを示しませんでした。 表 4 および 5 を参照。 しかし、彼らが発見したハイパーパラメータ設定は、両方のデータセットで異なる s と s を持つ。
0.64
The negative value of  means the former is better, for example, the row of RS-TPE in Table 5, the  on test set is -3.3167, which represents RS has smaller RMSE value than TPE (i.e., RS is better than TPE); when the value of  is positive, it means the later is better than the former, for example, the row of RS-TPE in Table 4, the  on test set is 1.8355, which means the performance of TPE is better than that of RS. 前者の負の値は、例えば表5の RS-TPE の列が -3.3167 であり、これは RS の RMSE 値が TPE よりも小さい(すなわち RS の方が TPE より小さい)。
訳抜け防止モード: の負の値は前者の方が良いことを意味する 例えば... 表 5 の RS - TPE の行、テストセット は -3.3167 である。 RSを表しています TPEよりもRMSE値が小さい(すなわち、RSはTPEより優れている)。 これは、例えばテーブル4におけるRS-TPEの行のように、後者の方が前者より優れていることを意味する。 テストセットの s は 1.8355, つまり、TPEのパフォーマンスはRSよりも優れています。
0.82
A larger absolute value of  indicates a bigger difference. 絶対値がより大きいのは、大きな差である。 0.79
Moreover, RS outperforms the other two methods in Table 2 with significant difference (see Table 5). さらに、RSはテーブル2の他の2つの方法よりも大きな差がある(表5参照)。 0.70
We consider the problem of FreeSolv may be more complex (the work research in [3] discussed the problem of deviations of calculating hydration free energy), and TPE and CMA-ES are constrained by the size of search space, the number of trials, and the size of dataset, 我々は、FreeSolvの問題はより複雑である([3]における研究研究は、水和エネルギーの計算における偏差の問題について論じている)と考え、TPEとCMA-ESは、探索空間のサイズ、試行数、データセットのサイズに制約されている。 0.74
HPO Methods Hyperparameters Train HPO法ハイパーパラメータトレイン 0.78
Validation Test RS TPE 検証テスト RS TPE 0.81
CMA-ES   =256 =64  =0.0016  =64   =192 =192  =0.0015  =32   =256 =64  =0.0016  =32 CMA-ES   =256 =64  =0.0016  =64   =192 =192  =0.0015  =32   =256 =64  =0.0016  =32 0.61
0.2666 0.9067 0.2666 0.9067 0.59
0.8888 Mean RMSE 0.8888 RMSE 0.89
0.0364 0.0542 0.0364 0.0542 0.59
0.0411 Mean STD 0.0411 平均STD 0.70
0.3083 0.8739 0.3083 0.8739 0.59
0.8667 Mean RMSE 0.8667 RMSE 0.90
0.0534 0.0401 0.0534 0.0401 0.59
0.0476 Mean STD 0.0476 平均STD 0.70
0.2939 0.8739 0.2939 0.8739 0.59
0.8782 Mean RMSE 0.8782 RMSE 0.89
0.0458 0.0424 0.0458 0.0424 0.59
0.0562 Mean STD 0.0562 平均STD 0.70
Table 1: The general experimental settings on ESOL Dataset Search Space:  :32-256,=32;  :0.0001-0.0016,=0.0001;  :32-256, =32;  :64512, =64 表1: ESOLデータセット検索空間上の一般的な実験的設定: シュ :32-256, シュ=32; シュ :0.0001-0.0016, シュ=0.0001; シュ :32-256, シュ=32; シュ :64512, シュ=64 0.57
HPO Methods Hyperparameters Train HPO法ハイパーパラメータトレイン 0.78
Validation Test RS TPE 検証テスト RS TPE 0.81
CMA-ES   =256 =320  =0.0015  =32   =160 =448  =0.0015  =32   =256 =64  =0.0016  =32 CMA-ES   =256 =320  =0.0015  =32   =160 =448  =0.0015  =32   =256 =64  =0.0016  =32 0.61
0.6197 1.2175 0.6197 1.2175 0.59
1.1040 Mean RMSE 1.1040 RMSE 0.86
0.1248 0.1055 0.1248 0.1055 0.59
0.0995 Mean STD 0.0995 平均STD 0.73
0.6875 1.3425 0.6875 1.3425 0.59
1.2006 Mean RMSE 1.2006 RMSE 0.89
0.1854 0.1711 0.1854 0.1711 0.59
0.1212 Mean STD 0.1212 平均STD 0.70
0.5792 1.2721 0.5792 1.2721 0.59
1.1967 Mean RMSE 1.1967 RMSE 0.88
0.2653 0.1907 0.2653 0.1907 0.59
0.2128 Mean STD 0.2128 平均STD 0.69
Table 2: The general experimental settings on FreeSolv Dataset Search Space:  :32-256,=32;  :0.0001-0.0016,=0.0001;  :32-256, =32;  :64512, =64 表2: FreeSolv Dataset Search Space上の一般的な実験的設定: シュ :32-256, シュ=32; シュ :0.0001-0.0016, シュ=0.0001; シュ :32-256, シュ=32; シュ :64512, シュ=64
訳抜け防止モード: 表2 : フリーソルバデータセット探索空間に関する一般実験的設定 : 「32-256」; 「32」; 「32-「32」; 「32-「32」; 「32-「256」 =32 ;  : 64512 , =64
0.64
thus they got stuck in local optima. 地元のオプティマに 立ち往生しました 0.36
In contrast, RS uses a complete random strategy which is helpful to deal with this kind of special situation. 対照的に、RSはこのような特殊な状況に対処するのに役立つ完全なランダム戦略を使用する。
訳抜け防止モード: 対照的に rs は完全なランダム戦略を使い このような特別な状況に対処するのに役立ちます
0.77
However, we believe that CMA-ES and TPE would find better solutions if given more trials and a larger search space. しかし、CMA-ESとTPEは、より多くの試行錯誤とより大きな検索スペースがあれば、より良いソリューションを見つけると信じています。 0.51
In Table 3, TPE demonstrated better performance than CMAES and RS with siginificant difference (see Table 6). 表3では、tpeはcmaesやrsよりもsiginificant differenceで優れた性能を示した(表6参照)。 0.62
The size of Lipophilicity dataset is the largest in our experiments, compared with smaller datasets, the evaluation on validation set would return a result with less deviations, which is helpful for TPE and CMA-ES to improve and update their strategies for promising solutions. Lipophilicityデータセットのサイズは、小さなデータセットと比較して、我々の実験で最大であり、検証セットの評価は、偏差が少なく、TPEとCMA-ESが期待できるソリューションのための戦略を改善し、更新するのに役立ちます。 0.68
However, CMA-ES did not show excellent performance in all datasets in this group of experiments, and we considered that CMA-ES is based on the evolution strategy, which means it depends on unceasingly generating new offspring to find solutions, so 100 trials might restrict its performance. しかし,CMA-ESはすべてのデータセットにおいて優れた性能を示しておらず,CMA-ESは進化戦略に基づくものであると考えられた。
訳抜け防止モード: しかし、CMA - ESは、この実験グループで全てのデータセットで優れた性能を示しなかった。 そして我々は、CMA - ESは進化戦略に基づいていると考えた。 つまり 解決策を見つけるために 新たな子孫を 生み出すのに 依存するということです 100のトライアルで パフォーマンスが制限されるかもしれません
0.51
4.2.2 Experiments on One Hour Runtime. 4.2.2 ワン時間実行実験 0.84
The same number of trials may not be able to assign the same computation cost for different HPO methods in practice, because different trials of hyperparameters may incur different computational cost on evaluation. ハイパーパラメータの異なる試験では、評価に異なる計算コストが発生する可能性があるため、実際には、異なるHPOメソッドに対して同じ計算コストを割り当てることはできません。 0.78
For example, a larger value of /  means more trainable parameters, which will take more computational resource for the corresponding trial. 例えば、より大きい値 はより訓練可能なパラメータを意味し、それに対応する試行のためにより多くの計算資源を必要とする。
訳抜け防止モード: 例えば、より大きい値 はより訓練可能なパラメータを意味する。 対応する試行のために 計算資源をもっと必要とします
0.75
Therefore, in this section, we design another set of experiments, in which we assign 1 hour time and the same hardware configuration to different HPO methods on ESOL dataset with the したがって、このセクションでは、1時間の時間と同じハードウェア構成をESOLデータセット上の異なるHPOメソッドに割り当てる実験の別のセットを設計します。 0.80
英語(論文から抽出)日本語訳スコア
2021, Feb, 05 2021年2月05日 0.87
Yingfang Yuan, Wenjun Wang, and Wei Pang Yingfang Yuan、Wenjun Wang、およびWei Pang。 0.80
HPO Methods Hyperparameters Train HPO法ハイパーパラメータトレイン 0.78
Validation Test HPO Methods Number of Trials Hyperparameters Train 検証テスト hpo法 試行用ハイパーパラメータートレイン数 0.68
Validation Test RS TPE 検証テスト RS TPE 0.81
CMA-ES   =96 =384  =0.001  = 64   =224 =192  =0.0015  =32   =32 =64  =0.0016  =32 CMA-ES   =96 =384  =0.001  = 64   =224 =192  =0.0015  =32   =32 =64  =0.0016  =32 0.63
0.2682 0.7024 0.2682 0.7024 0.59
0.6949 Mean RMSE 0.6949 RMSE 0.89
0.0444 0.0279 0.0444 0.0279 0.59
0.0248 Mean STD 0.0248 平均STD 0.70
0.2475 0.6914 0.2475 0.6914 0.59
0.6655 Mean RMSE 0.6655 RMSE 0.88
0.0328 0.0229 0.0328 0.0229 0.59
0.0219 Mean STD 0.0219 平均STD 0.69
0.3496 0.7191 0.3496 0.7191 0.59
0.7183 Mean RMSE 0.7183 RMSE 0.89
0.0425 0.0309 0.0425 0.0309 0.59
0.0245 Mean STD 0.0245 平均STD 0.71
Table 3: The general experimental settings on Lipophilicity Dataset Search Space:  :32-256,=32;  :0.0001-0.0016,=0.0001;  :32-256, =32;  :64512, =64 表3: 脂肪親和性データセットの一般実験的な設定 検索空間: _32-256, _32; _0.0001-0.0016, _0.0001; _32-256, _32; _64512, _=64 0.62
T-test on results with significance level of = 5% T-test on results with significant level of s= 5% 0.88
ℎ = 1 : reject the equal mean hypothesis; ℎ = 0 : accept the equal mean hypothesis. h = 1 : 等平均仮説を拒絶する; h = 0 : 等平均仮説を受け入れる。 0.72
 Test 1.8355 0.7706 -0.8396 テスト 1.8355 0.7706 -0.8396 0.53
-3.4671 -2.5080 1.0984 -3.4671 -2.5080 1.0984 0.39
2.6223 2.5666 -0.0007 2.6223 2.5666 -0.0007 0.43
 Trian  Valid 1 1 0 トライアン 有効。 1 1 0 0.53
1 1 0 ℎ ℎ HPO Methods 1 1 0 ℎ ℎ HPO法 0.82
RS - TPE RS - CMA-ES TPE - CMA-ES RS - TPE RS - CMA-ES TPE - CMA-ES 0.80
Table 4: T-Test on ESOL 表4: ESOLのT-Test 0.86
T-test on results with significance level of = 5% T-test on results with significant level of s= 5% 0.88
ℎ = 1 : reject the equal mean hypothesis; ℎ = 0 : accept the equal mean hypothesis. h = 1 : 等平均仮説を拒絶する; h = 0 : 等平均仮説を受け入れる。 0.72
 Test -3.3167 -2.1245 0.0855 テスト-3.3167 -2.1245 0.0855 0.48
 Valid -3.3492 -1.3487 1.4804 有効 -3.3492 -1.3487 1.4804 0.48
-1.6328 0.7435 1.8011 -1.6328 0.7435 1.8011 0.43
 Trian 1 0 0 トライアン 1 0 0 0.59
0 0 1 ℎ ℎ HPO Methods 0 0 1 ℎ ℎ HPO法 0.82
RS - TPE RS - CMA-ES TPE - CMA-ES RS - TPE RS - CMA-ES TPE - CMA-ES 0.80
Table 5: T-Test on FreeSolv 表5: FreeSolvのT-Test 0.86
T-test on results with significance level of = 5% T-test on results with significant level of s= 5% 0.88
ℎ = 1 : reject the equal mean hypothesis; ℎ = 0 : accept the equal mean hypothesis. h = 1 : 等平均仮説を拒絶する; h = 0 : 等平均仮説を受け入れる。 0.72
HPO Methods  Trian HPO法 トライアン 0.54
ℎ  Valid ℎ RS - TPE ℎ 有効。 ℎ RS - TPE 0.74
RS - CMA-ES TPE - CMA-ES RS - CMA-ES TPE - CMA-ES 0.75
2.0146 -7.1251 -10.2330 2.0146 -7.1251 -10.2330 0.39
0 1 1 Table 6: T-Test on Lipophilicity 0 1 1 Table 6: T-Test on Lipophilicity 0.98
1.6454 -2.1564 -3.8762 1.6454 -2.1564 -3.8762 0.39
0 1 1  Test 4.7676 -3.6088 -8.6244 0 1 1 テスト 4.7676 -3.6088 -8.6244 0.67
ℎ 1 0 0 ℎ 1 1 0 ℎ 1 0 0 ℎ 1 1 0 0.85
ℎ 1 1 1 RS ℎ 1 1 1 RS 0.85
TPE 96 54 CMA-ES TPE 96 54 CMA-ES 0.78
63 nf=224 =448  =0.0008  =32 nf=256 =256  =0.0014  =32 nf=32 =512  =0.0016  =32 63 nf=224 =448  =0.0008  =32 nf=256 =256  =0.0014  =32 nf=32 =512  =0.0016  =32 0.68
~0.3301 0.8817 ~0.3301 0.8817 0.53
~0.8994 Mean RMSE 0.8994 RMSE 0.84
~0.0492 0.0457 ~0.0492 0.0457 0.53
0.0544 Mean STD 0.0544 平均STD 0.71
0.3193 0.8605 0.3193 0.8605 0.59
0.8634 Mean RMSE 0.8634 RMSE 0.89
0.0462 0.0400 0.0462 0.0400 0.59
0.0408 Mean STD 0.0408 平均 STD 0.75
0.4287 0.9231 0.4287 0.9231 0.59
0.9688 Mean RMSE 0.9688 RMSE 0.88
0.0933 0.0706 0.0933 0.0706 0.59
0.0845 Mean STD 0.0845 平均STD 0.72
Table 7: Experiments on ESOL Dataset given one hour running time Search Space:  :32-256,=32;  :0.0001-0.0016,=0.0001;  :32-256, =32;  :64512, =64 表7: ESOLデータセットの1時間実行時実験 検索空間: シュ :32-256, シュ=32; シュ :0.0001-0.0016, シュ=0.0001; シュ :32-256, シュ=32; シュ :64512, シュ=64 0.60
run for 30 times, and the results and t-test are shown in Tables 7 and 8. 30回実行し、結果とtテストが7と8の表に示されます。 0.75
In Table 7, RS completed the largest number of trials, and the performance is approximately equal to the one shown in Table 1 because it completed almost 100 trials, which is similar to the previous experiment. 表7では、RSは試験の最大の数を完了し、性能は前の実験に類似したほぼ100の試験を完了したので表1に示すものとほぼ同じです。 0.74
We believe RS is efficient and stable in such small search space. rs はそのような小さな探索空間において効率的で安定であると信じている。 0.50
Furthermore, TPE obviously showed surprising performance with 54 trials, to accomplish almost the same performance as shown in Table 1. さらに、TPEは明らかに54のトライアルで驚くべきパフォーマンスを示し、表1に示すほぼ同じパフォーマンスを達成した。 0.68
Additionally, it is noted that TPE found two different hyperparameter settings respectively shown in Table 1 and 7 but with almost the same performance on the test dataset. さらに、TPEはそれぞれ表1と7に示す2つの異なるハイパーパラメータ設定を発見したが、テストデータセットではほとんど同じパフォーマンスを示した。 0.75
Meanwhile, as shown in Table 8, the performance of three HPO methods within 1 hour runtime have significant difference: TPE performs the best. 一方、表8に示すように、1時間のランタイム内での3つのHPOメソッドのパフォーマンスには大きな違いがあります。 0.68
CMA-ES did not reach our expectation that at least it should maintain the similar performance to RS, and we consider that CMA-ES might not be suitable for our particular HPO with insufficient computational cost and relatively small search space. CMA-ESは、少なくともRSと同じような性能を維持するべきだという私たちの期待には達せず、CMA-ESは不十分な計算コストと比較的小さな検索スペースを持つ特定のHPOには適していない可能性があると考えました。 0.62
Furthermore, it is noted the underperforming of CMA-ES may be alleviated by further exploring the "meta parameters" of CMA-ES, for example, the population size of CMA-ES. さらに、CMA-ESの低パフォーマンスは、CMA-ESの「メタパラメータ」、例えばCMA-ESの人口サイズをさらに探索することによって緩和される可能性がある。 0.68
However, this seems to be an even more challenging "meta-HPO" problem, which is beyond the scope of this research. しかし、この研究の範囲を超えて、これはさらに困難な「メタHPO」問題であるようです。 0.71
We will explore this in our future work. 私たちは将来の作業でこれを探求します。 0.68
T-test on results with significance level of = 5% T-test on results with significant level of s= 5% 0.88
ℎ = 1 : reject the equal mean hypothesis; ℎ = 0 : accept the equal mean hypothesis. h = 1 : 等平均仮説を拒絶する; h = 0 : 等平均仮説を受け入れる。 0.72
 Test 2.8449 -3.7178 -6.0439 テスト 2.8449 -3.7178 -6.0439 0.49
0.8573 -5.0338 -5.6546 0.8573 -5.0338 -5.6546 0.39
1.8774 -2.6530 -4.1563 1.8774 -2.6530 -4.1563 0.39
 Trian  Valid 0 1 0 トライアン 有効。 0 1 0 0.53
1 1 1 ℎ ℎ HPO Methods 1 1 1 ℎ ℎ HPO法 0.82
RS - TPE RS - CMA-ES TPE - CMA-ES RS - TPE RS - CMA-ES TPE - CMA-ES 0.80
ℎ 1 1 1 Table 8: T-Test on experiments on ESOL Dataset given one hour running time ℎ 1 1 1 表8: ESOLデータセットの1時間実行時の実験に関するT-Test 0.84
same search space defined in Table 1, to see which method can find the best solution. テーブル1で定義された同じ検索空間で、どのメソッドが最良の解決策を見つけられるかを確認する。
訳抜け防止モード: 表1で定義された同じ探索空間 どの方法が最善の解決策かを確かめる。
0.78
Within one hour, the best trials of hyperparamters from the HPO methods were selected to configure GC, and this GC will be 1時間以内に、hpoメソッドからのハイパーパラミッターのベストトライアルがgcを構成するために選択され、このgcは、
訳抜け防止モード: 1時間以内に、GCを構成するためにHPO法から最も優れたハイパーパラメータの試行が選択された。 このGCは
0.72
4.3 Performance as Primary Consideration In this section, we design another group of experiments to explore RS, TPE and CMA-ES with performance as primary consideration by providing as much as possible computational cost. 4.3 主観的考察としての性能 この節では, RS, TPE, CMA-ESについて, 可能な限りの計算コストを提供することで, 性能を主観的に検討する実験群を設計する。 0.66
英語(論文から抽出)日本語訳スコア
A Systematic Comparison Study on Hyperparameter Optimisation of Graph Neural Networks グラフニューラルネットワークのハイパーパラメータ最適化に関するシステム比較研究 0.87
2021, Feb, 05 2021年2月05日 0.87
4.3.1 Experiments on Repeated HPO Runs. 4.3.1 繰り返しHPO運転実験 0.78
In order to purely compare HPO performance, we designed to respectively run three HPO methods on ESOL dataset for 10 times independently, and each time is assigned with 100 trials and keep the search space the same as that defined in Table 1. hpoの性能を純粋に比較するために,esolデータセット上で3つのhpoメソッドをそれぞれ10倍独立に実行し,それぞれに100回の試行を割り当て,検索空間をテーブル1で定義されたものと同じに保つように設計した。 0.76
The performance is evaluated by calculating the mean of RMSE values of the best trial from every 100 trials. 評価は,100回ごとに最高試験のRMSE値の平均値を計算することで行う。 0.72
We did not run it on the test data set because the 10 times RMSEs correspond to 10 different hyperparameter settings. 10倍のRMSEが10の異なるハイパーパラメータ設定に対応するため、テストデータセットでは実行できませんでした。 0.77
Our purpose is to discover the capability of those methods to fit HPO problem, and the results and t-test are shown in Tables 9 and 10. 本研究の目的は,HPO問題に適合する手法を探索し,結果とt-testを表9と10に示すことである。 0.78
TPE again outperforms RS and CMA-ES, and it also presents more stable performance as with less standard deviation. TPEはRSとCMA-ESを再び上回り、標準偏差が小さいほど安定した性能を示す。 0.69
T-test in Table 10 shows the same outcome on the test dataset to Table 1 that RS and CMA-ES in this problem and search space have similar performance (no significant difference). 表10におけるTテストは、この問題におけるRSとCMA-ESが類似した性能を持つ(有意差はない)テーブル1に対するテストデータセットで同じ結果を示す。 0.79
So, we believe the CMA-ES still has room for improvement for its performance in our experiments. そのため、CMA-ESは実験での性能を改善する余地があると考えています。 0.71
RS TPE CMA-ES RS TPE CMA-ES 0.76
Mean of RMSE Std rmse stdの平均値 0.61
0.8529 0.0169 0.8529 0.0169 0.50
0.8190 0.0090 0.8190 0.0090 0.50
0.8469 0.0169 0.8469 0.0169 0.50
Table 9: Experiments on the ESOL Dataset with performance as primary consideration 表9:性能を第一に考慮したesolデータセットの実験 0.84
4.3.2 Experiments on A Larger Search Space. 4.3.2 大規模探索空間の実験 0.74
To further investigate the performance of the HPO methods, we increased the search space so that  and   range from 8 to 512 with the step size of 8;  is changed to from 0.0001 to 0.0032 with the step size of 0.0001;  is increased from 32 to 1024 with the step size of 32. HPO法の性能をさらに調査するため,ステップサイズが8から512に,ステップサイズが0.0001から0.0032に,ステップサイズが0.0001に,ステップサイズが32から1024に,検索空間を8から512に拡大した。 0.67
The new search space has 222 configurations, and the increments become small and the value ranges are increased. 新しい検索スペースには222の構成があり、インクリメントが小さくなり、値範囲が増加します。 0.80
The experimental details are shown in Tables 11, 12, and 13; while the corresponding t-test are presented in Tables 14, 15, and 16. 実験の詳細は表11,12,13に示され、対応するtテストは表14,15,16に示される。 0.71
In the three datasets, in general, the RMSEs for RS, TPE, and CMA-ES on the test datasets have improved compared with the experiments in Section 4.2 given the same number of trials. 3つのデータセットでは、テストデータセットにおけるRS、TPE、CMA-ESのRMSEは、同じ試行回数で4.2節の実験と比較すると改善されている。 0.71
Meanwhile, by observing the results on the validation and test datasets for all three datasets, we do not see over-fitting issues. 一方、3つのデータセットの検証とテストデータセットの結果を観察することで、過度に適合する問題は見つからない。 0.70
In ESOL, TPE and CMA-ES have almost the same performance, and both of them are better than RS as indicated by by t-test (see Table 14). ESOLでは、TPEとCMA-ESはほぼ同じ性能であり、どちらもt-testで示されるRSよりも優れている(表14参照)。 0.71
In addition, in FreeSolv, three HPO methods show no significant difference performance, while TPE and CMA-ES made the improvements compared with the previous experiments (see Table 2). さらに、FreeSolvでは、3つのHPO法では有意な差がみられず、TPEとCMA-ESは以前の実験と比べて改善した(表2参照)。 0.63
It is T-test on results with significance level of = 5% それは T-test on results with significant level of s= 5% 0.79
h = 1 : reject the equal mean hypothesis; h = 0 : accept the equal mean hypothesis. h = 1 : 等平均仮説を拒絶する; h = 0 : 等平均仮説を受け入れる。 0.72
HPO Methods  RS - TPE HPO法  RS - TPE 0.81
RS - CMA-ES TPE - CMA-ES RS - CMA-ES TPE - CMA-ES 0.75
5.2891 0.7464 -4.3625 5.2891 0.7464 -4.3625 0.43
ℎ 1 0 1 Table 10: T-Test on ESOL with performance as primary consideratoin ℎ 1 0 1 表10:ESOLにおけるT-Testとパフォーマンス 0.81
HPO Methods Hyperparameters~ Train HPO法ハイパーパラメータ~電車 0.63
Validation Test RS TPE 検証テスト RS TPE 0.81
CMA-ES   =384 =160  =0.0016  =24   =312 =224  =0.003  =8   =512 =1024  =0.0032  =8 CMA-ES   =384 =160  =0.0016  =24   =312 =224  =0.003  =8   =512 =1024  =0.0032  =8 0.61
0.3190 0.8727 0.3190 0.8727 0.59
0.8479 Mean RMSE 0.8479 RMSE 0.89
0.0323 0.0310 0.0323 0.0310 0.59
0.0453 Mean STD 0.0453 平均STD 0.71
0.5089 0.8203 0.5089 0.8203 0.59
0.781 Mean RMSE 0.781 RMSE 0.88
0.1281 0.096 0.1281 0.096 0.59
0.057 Mean STD 0.057 平均 STD 0.74
0.5793 0.848 0.5793 0.848 0.59
0.7772 Mean RMSE 0.7772 RMSE 0.89
0.1529 0.1247 0.1529 0.1247 0.59
0.097 Mean STD 0.097 平均 STD 0.74
Table 11: Experiments in larger search space on ESOL Dataset  :8-512,=8;  :0.0001-0.0032, =0.0001;  :8-512, =8;  :32-1024, =32 表11: ESOLデータセット上のより大きな検索空間における実験: ^ :8-512, ^=8; ^ :0.0001-0.0032, ^ =0.0001; ^ :8-512, ^=8; ^ :32-1024, ^=32 0.56
HPO Methods Hyperparameters Train HPO法ハイパーパラメータトレイン 0.78
Validation Test RS TPE 検証テスト RS TPE 0.81
CMA-ES   =200 =64  =0.0030  =48   =424 =224  =0.0008  =16   =512 =32  =0.0032  =8 CMA-ES   =200 =64  =0.0030  =48   =424 =224  =0.0008  =16   =512 =32  =0.0032  =8 0.61
0.3747 1.2412 0.3747 1.2412 0.59
1.0880 Mean RMSE 1.0880 Mean RMSE 0.78
0.0684 0.1152 0.0684 0.1152 0.59
0.0990 Mean STD 0.0990 平均 STD 0.76
0.6144 1.1288 0.6144 1.1288 0.59
1.0620 Mean RMSE 1.0620 RMSE 0.88
0.0951 0.1163 0.0951 0.1163 0.59
0.1115 Mean STD 0.1115 平均 STD 0.74
0.6973 1.2329 0.6973 1.2329 0.59
1.0835 Mean RMSE 1.0835 RMSE 0.88
0.07819 0.1306 0.07819 0.1306 0.59
0.1073 Mean STD 0.1073 平均STD 0.69
Table 12: Experiments in larger search space on FreeSolv Dataset  :8-512,=8;  :0.0001-0.0032, =0.0001;  :8-512, =8;  :32-1024, =32 表12:FreeSolvデータセット上のより大きな検索空間における実験 :8-512, t=8; t :0.0001-0.0032, t=0.0001; t :8-512, t=8; t :32-1024, t=32
訳抜け防止モード: 表12 : FreeSolvデータセット上のより大きな検索空間での実験。 =0.0001 ;  : 8 - 512, =8 ;  : 32 - 1024,=32
0.77
HPO Methods Hyperparameters Train HPO法ハイパーパラメータトレイン 0.78
Validation Test RS TPE 検証テスト RS TPE 0.81
CMA-ES   =312 =32  =0.0031  =32   =496 =32  =0.0022  =24   =248 =480  =0.0015  =120 CMA-ES   =312 =32  =0.0031  =32   =496 =32  =0.0022  =24   =248 =480  =0.0015  =120 0.61
0.2570 0.6736 0.2570 0.6736 0.59
0.6552 Mean RMSE 0.6552 RMSE 0.88
0.0240 0.0285 0.0240 0.0285 0.59
0.0223 Mean STD 0.0223 平均STD 0.72
0.2413 0.6786 0.2413 0.6786 0.59
0.6395 Mean RMSE 0.6395 RMSE 0.89
0.0188 0.0195 0.0188 0.0195 0.59
0.0193 Mean STD 0.0193 平均 STD 0.74
0.2442 0.6931 0.2442 0.6931 0.59
0.6826 Mean RMSE 0.6826 RMSE 0.88
~0.0430 0.0194 ~0.0430 0.0194 0.53
0.0167 Mean STD 0.0167 平均STD 0.71
Table 13: Experiments in larger search space on Lipophilicity Dataset  :8-512,=8;  :0.0001-0.0032, =0.0001;  :8-512, =8;  :32-1024, =32 表13: 脂肪親和性データセットのより広い探索空間における実験 :8-512, ]=8; ] :0.0001-0.0032, ]=0.0001; ] :8-512, ]=8; ] :32-1024, ]=32 0.54
sensible that a potential complex problem should be given a large search space to find the most suitable hyperparameters. 潜在的な複雑な問題は、最も適したハイパーパラメータを見つけるために、大きな検索スペースを与えるべきです。 0.72
In Table 13, the rank of performance of the methods is still that TPE is the best, and RS is better than CMA-ES. 表13では、TPEが最高であり、RSがCMA-ESよりも優れていることがまだ方法のパフォーマンスのランクです。 0.71
5 CONCLUSION AND FUTURE WORK Overall, our experimental results indicate that TPE is the most suited HPO method for GNN as applied to our molecular property prediction problems given limited computational resource. 5 ConCLUSION and FUTURE WORK overall, we experimental results indicate that TPE is the most suited HPO method for GNN as applied to our molecular property prediction problems given limited computer resources。
訳抜け防止モード: 5 Conclusion and Future WORK overall, our experimental results indicate that TPE is the most suited HPO method for GNN as 限られた計算資源を与えられた分子特性予測問題に適用しました
0.93
Meanwhile, RS is the simplest method but can achieve comparable performance against TPE and CMA-ES. 一方、RSは最も単純な手法であるが、TPEやCMA-ESと同等の性能を発揮する。 0.48
In our future work, facing 将来の仕事において 0.62
英語(論文から抽出)日本語訳スコア
2021, Feb, 05 2021年2月05日 0.87
Yingfang Yuan, Wenjun Wang, and Wei Pang Yingfang Yuan、Wenjun Wang、およびWei Pang。 0.80
T-test on results with significance level of = 5% T-test on results with significant level of s= 5% 0.88
ℎ = 1 : reject the equal mean hypothesis; ℎ = 0 : accept the equal mean hypothesis. h = 1 : 等平均仮説を拒絶する; h = 0 : 等平均仮説を受け入れる。 0.72
ℎ RS - TPE ℎ RS - TPE 0.85
HPO Methods  Trian HPO法 トライアン 0.54
 Test 4.9451 3.5578 0.1855 Table 14: T-Test on ESOL in larger search space テスト 4.9451 3.5578 0.1855 Table 14: T-Test on ESOL in larger search space 0.79
-7.7384 -10.7815 -2.1105 -7.7384 -10.7815 -2.1105 0.36
2.7832 1.0330 -0.9456 2.7832 1.0330 -0.9456 0.43
 Valid 1 1 1 1 0 0 有効。 1 1 1 1 0 0 0.71
RS - CMA-ES TPE - CMA-ES RS - CMA-ES TPE - CMA-ES 0.75
ℎ T-test on results with significance level of = 5% ℎ T-test on results with significant level of s= 5% 0.86
ℎ = 1 : reject the equal mean hypothesis; ℎ = 0 : accept the equal mean hypothesis. h = 1 : 等平均仮説を拒絶する; h = 0 : 等平均仮説を受け入れる。 0.72
ℎ RS - TPE ℎ RS - TPE 0.85
HPO Methods  Test 0.9385 0.1661 -0.7475 Table 15: T-Test on FreeSolv in larger search space HPO法 テスト 0.9385 0.1661 -0.7475 Table 15: T-Test on FreeSolv in larger search space 0.75
 Trian -11.0149 -16.7183 -3.6269 三位一体-11.0149 -16.7183 -3.6269 0.35
3.6976 0.2580 -3.2042 3.6976 0.2580 -3.2042 0.43
RS - CMA-ES TPE - CMA-ES RS - CMA-ES TPE - CMA-ES 0.75
 Valid 1 1 1 1 0 1 有効。 1 1 1 1 0 1 0.71
ℎ T-test on results with significance level of = 5% ℎ T-test on results with significant level of s= 5% 0.86
ℎ 1 1 0 ℎ 0 0 0 ℎ 1 1 0 ℎ 0 0 0 0.85
ℎ HPO Methods ℎ = 1 : reject the equal mean hypothesis; ℎ = 0 : accept the equal mean hypothesis. ℎ HPO法 h = 1 : 等平均仮説を拒絶する; h = 0 : 等平均仮説を受け入れる。 0.77
t Test 2.7989 -5.2825 -8.9802 t Test 2.7989 -5.2825 -8.9802 0.50
1 1 RS - CMA-ES TPE - CMA-ES 1 Table 16: T-Test on Lipophilicity in larger search space 1 1 RS - CMA-ES TPE - CMA-ES 1 Table 16:T-Test on Lipophilicity in larger search space 0.90
t Valid -0.7815 3.0423 -2.8299 t Valid -0.7815 3.0423 -2.8299 0.50
2.7588 1.3964 -0.3299 2.7588 1.3964 -0.3299 0.43
t Trian RS - TPE t Trian RS - TPE 0.85
0 1 1 1 0 0 0 1 1 1 0 0 0.85
ℎ ℎ molecular problems on small datasets, the use of CMA-ES also deserves further investigation, and we believe that CMA-ES, RS, and TPE will have very similar performance given more computational budget. ℎ ℎ 小さなデータセットの分子問題、CMA-ESの使用もさらなる調査に値するものであり、CMA-ES、RS、およびTPEは、より多くの計算予算を考えると、非常に同様のパフォーマンスを持つと信じています。
訳抜け防止モード: ℎ ℎ 小さなデータセットの分子問題、CMAの使用 - ESもまたさらなる調査に値する。 私たちは CMA - ES, RS, TPE は,計算予算の面で非常によく似たパフォーマンスを持つ。
0.78
Furthermore, as mentioned in Section 4.3.1, the selection of the "meta-parameeters&quo t; for HPO methods deserve more research, we will investigate the impact of HPO methods’ meta-parameter values on their performance. さらに,HPO法におけるMeta-parameeterの選択について,第4章3.1節で述べたように,HPO法のメタパラメータ値が評価に与える影響について検討する。 0.78
Finally, we expect that our work will help the people from various fields (e.g., machine learning, chemistry, materials science) when they are facing similar type interdisciplinary problems. 最後に、同様のタイプの学際的な問題に直面しているとき、さまざまな分野(例えば、機械学習、化学、材料科学)の人々を支援することを期待する。 0.70
As the application of GNNs have been explored in many areas and indeed benefited the research in those areas, we believe that our research outcomes would give them useful insights to facilitate their research. GNNの応用が多くの分野で検討され、これらの分野で研究の恩恵を受けているため、我々の研究成果は研究を促進する上で有用な洞察を与えるだろうと信じている。 0.74
REFERENCES [1] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. REFERENCES [1]秋葉拓也、佐野正太郎、柳瀬利彦、大田健、小山正則。 0.45
2019. Optuna: A next-generation hyperparameter optimization framework. 2019. Optuna: 次世代のハイパーパラメータ最適化フレームワーク。 0.78
In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 第25回ACM SIGKDD International Conference on Knowledge Discovery & Data Miningに参加して 0.79
2623–2631. 2623–2631. 0.71
[2] Youhei Akimoto, Yuichi Nagata, Isao Ono, and Shigenobu Kobayashi. [2] 秋本洋平、永田雄一、小野勇雄、小林重信 0.43
2010. Bidirectional relation between CMA evolution strategies and natural evolution strategies. 2010. CMA進化戦略と自然進化戦略の双方向関係 0.78
In International Conference on Parallel Problem Solving from Nature. 自然からの並列問題解決に関する国際会議で。 0.83
Springer, 154–163. スプリンガー、154–163。 0.52
[3] D Asthagiri, Lawrence R Pratt, and HS Ashbaugh. D Asthagiri, Lawrence R Pratt, and HS Ashbaugh.[3]D Asthagiri, Lawrence R Pratt, and HS Ashbaugh. 0.66
2003. Absolute hydration free energies of ions, ion–water clusters, and quasichemical theory. 2003. イオン、イオン-水クラスター、準化学理論の絶対水和自由エネルギー。 0.80
The Journal of chemical physics 119, 5 (2003), 2702–2708. Journal of Chemical Physics 119, 5 (2003), 2702–2708。 0.79
[4] James Bergstra, Rémi Bardenet, Yoshua Bengio, and Balázs Kégl. [4]James Bergstra, Rémi Bardenet, Yoshua Bengio, Balázs Kégl. 0.76
2011. Algorithms for hyper-parameter optimization. 2011. ハイパーパラメータ最適化のためのアルゴリズム。 0.72
In 25th annual conference on neural information processing systems (NIPS 2011), Vol. 第25回神経情報処理システムに関する年次会議(NIPS 2011)で。 0.76
24. Neural Information Processing Systems Foundation. 24. 神経情報処理システム財団。 0.74
[5] James Bergstra and Yoshua Bengio. 5] ジェームズ・バーグストラとヨシュア・ベンジオ 0.51
2012. Random search for hyper-parameter 2012. ハイパーパラメータのランダム探索 0.82
optimization. The Journal of Machine Learning Research 13, 1 (2012), 281–305. 最適化。 The Journal of Machine Learning Research 13 1 (2012), 281–305。 0.75
[6] Pasquale Bove, Alessio Micheli, Paolo Milazzo, and Marco Podda. 6] Pasquale Bove、Alessio Micheli、Paolo Milazzo、Marco Podda。 0.65
2020. Prediction of Dynamical Properties of Biochemical Pathways with Graph Neural Networks.. 2020. グラフニューラルネットワークを用いた生化学経路の動的性質の予測 0.86
In BIOINFORMATICS. バイオインフォマティクス。 0.51
32–43. [7] Duc T Duong, Bright Walker, Jason Lin, Chunki Kim, John Love, Balaji Purushothaman, John E Anthony, and Thuc-Quyen Nguyen. 32–43. 7] Duc T Duong, Bright Walker, Jason Lin, Chunki Kim, John Love, Balaji Purushothaman, John E Anthony, Thuc-Quyen Nguyen。 0.76
2012. Molecular solubility and hansen solubility parameters for the analysis of phase separation in bulk heterojunctions. 2012. バルクヘテロ接合における相分離解析のための分子溶解度とハンセン溶解度パラメータ 0.83
Journal of Polymer Science Part B: Polymer Physics 50, 20 (2012), 1405–1413. Journal of Polymer Science Part B: Polymer Physics 50, 20 (2012), 1405–1413。 0.85
[8] David K Duvenaud, Dougal Maclaurin, Jorge Iparraguirre, Rafael Bombarell, Timothy Hirzel, Alán Aspuru-Guzik, and Ryan P Adams. David K Duvenaud氏、Dougal Maclaurin氏、Jorge Iparraguirre氏、Rafael Bombarell氏、Timothy Hirzel氏、Alán Aspuru-Guzik氏、Ryan P Adams氏。
訳抜け防止モード: [8 ]David K Duvenaud,Dougal Maclaurin,Jorge Iparraguirre, Rafael Bombarell, Timothy Hirzel, Alán Aspuru - Guzik ライアン・アダムズ(Ryan P Adams)。
0.84
2015. Convolutional networks on graphs for learning molecular fingerprints. 2015. 分子指紋学習のためのグラフ上の畳み込みネットワーク 0.81
Advances in neural information processing systems 28 (2015), 2224–2232. 神経情報処理システム28(2015)、2224-2232の進歩。 0.72
[9] Evan N Feinberg, Debnil Sur, Zhenqin Wu, Brooke E Husic, Huanghao Mai, Yang Li, Saisai Sun, Jianyi Yang, Bharath Ramsundar, and Vijay S Pande. 9] Evan N Feinberg, Debnil Sur, Zhenqin Wu, Brooke E Husic, Huanghao Mai, Yang Li, Saisai Sun, Jianyi Yang, Bharath Ramsundar, Vijay S Pande。 0.75
2018. PotentialNet for molecular property prediction. 2018. 分子特性予測のためのPotentialNet。 0.79
ACS central science 4, 11 (2018), 1520–1530. ACS Central Science 4, 11 (2018), 1520–1530。 0.86
[10] Justin Gilmer, Samuel S Schoenholz, Patrick F Riley, Oriol Vinyals, and George E Dahl. 10]Justin Gilmer氏、Samuel S Schoenholz氏、Patrick F Riley氏、Oriol Vinyals氏、George E Dahl氏。 0.82
2017. Neural message passing for quantum chemistry. 2017. 量子化学のためのニューラルメッセージパッシング 0.80
arXiv preprint arXiv:1704.01212 (2017). arXiv preprint arXiv:1704.01212 (2017)。 0.77
[11] Robert C Glen, Andreas Bender, Catrin H Arnby, Lars Carlsson, Scott Boyer, and James Smith. 11] Robert C Glen, Andreas Bender, Catrin H Arnby, Lars Carlsson, Scott Boyer, James Smith 0.72
2006. Circular fingerprints: flexible molecular descriptors with applications from physical chemistry to ADME. 2006. 円形指紋:物理化学からADMEへの応用を含むフレキシブルな分子記述子。 0.80
IDrugs 9, 3 (2006), 199. IDrugs 9, 3 (2006), 199。 0.74
[12] Adrian M Haith and John W Krakauer. 12] Adrian M HaithとJohn W Krakauer。 0.74
2013. Model-based and model-free mech- 2013. モデルベースおよびモデルフリーmech- 0.75
anisms of human motor learning. 人間の運動学習のアニズムです 0.68
In Progress in motor control. モーター制御の進歩。 0.61
Springer, 1–21. スプリンガー、1-21。 0.47
[13] Nikolaus Hansen. [13]ニコラウス・ハンセン。 0.56
2016. The CMA evolution strategy: A tutorial. 2016. CMA進化戦略: チュートリアル。 0.69
arXiv preprint arXiv プレプリント 0.83
arXiv:1604.00772 (2016). arXiv:1604.00772 (2016)。 0.69
[14] Zhongkai Hao, Chengqiang Lu, Zhenya Huang, Hao Wang, Zheyuan Hu, Qi Liu, Enhong Chen, and Cheekong Lee. [14] Zhongkai Hao、Chengqiang Lu、Zhenya Huang、Hao Wang、Zheyuan Hu、Qi Liu、Enhong Chen、およびCheekong Lee。
訳抜け防止モード: [14 ]Zhongkai Hao, Chengqiang Lu, Zhenya Huang, Hao Wang, Zheyuan Hu, Qi Liu, Enhong Chen, とCheekong Leeは言う。
0.83
2020. ASGN: An Active Semi-supervised Graph Neural Network for Molecular Property Prediction. 2020. ASGN:分子特性予測のためのアクティブ半監視グラフニューラルネットワーク。 0.83
In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 第26回ACM SIGKDD International Conference on Knowledge Discovery & Data Miningに参加して 0.78
731–752. [15] Frank Hutter. 731–752. 15] フランク・ヘター 0.68
2009. Automated configuration of algorithms for solving hard com- 2009. ハードコムを解くアルゴリズムの自動構成- 0.82
putational problems. Ph.D. Dissertation. 命題の問題だ 博士論文。 0.56
University of British Columbia. ブリティッシュコロンビア大学教授。 0.51
[16] Frank Hutter, Holger H Hoos, and Kevin Leyton-Brown. 16] Frank Hutter、Holger H Hoos、Kevin Leyton-Brown。 0.76
2011. Sequential modelbased optimization for general algorithm configuration. 2011. 一般アルゴリズム構成のための逐次モデルに基づく最適化 0.79
In International conference on learning and intelligent optimization. 学習とインテリジェント最適化に関する国際会議で。 0.81
Springer, 507–523. スプリンガー、507-523。 0.52
[17] Donald R Jones. 17] ドナルド・R・ジョーンズ。 0.71
2001. A taxonomy of global optimization methods based on 2001. グローバル最適化手法の分類法 0.74
response surfaces. Journal of global optimization 21, 4 (2001), 345–383. 応答表面。 グローバル最適化のジャーナル 21, 4 (2001), 345–383。 0.75
[18] Steven Kearnes, Kevin McCloskey, Marc Berndl, Vijay Pande, and Patrick Riley. 18] Steven Kearnes、Kevin McCloskey、Marc Berndl、Vijay Pande、Patrick Riley。 0.68
2016. Molecular graph convolutions: moving beyond fingerprints. 2016. 分子グラフ畳み込み: 指紋を超えて移動する。 0.75
Journal of computer-aided molecular design 30, 8 (2016), 595–608. Journal of Computer-aided molecular design 30, 8 (2016), 595–608。 0.93
[19] George Lamb and Brooks Paige. 19] ジョージ・ラムとブルックス・ペイジ。 0.69
2020. Bayesian Graph Neural Networks for 2020. ベイジアングラフニューラルネットワーク 0.69
Molecular Property Prediction. arXiv preprint arXiv:2012.02089 (2020). 分子特性予測。 arXiv preprint arXiv:2012.02089 (2020)。 0.69
[20] Sonia Lobo. Sonia Lobo (複数形 Sonia Lobos) 0.60
2020. Is there enough focus on lipophilicity in drug discovery? 2020. 薬物の発見には親油性に十分な焦点がありますか? 0.69
Expert opinion on drug discovery 15, 3 (2020), 261–263. 創薬15, 3 (2020)、261–263に関する専門家の意見。 0.65
[21] Ilya Loshchilov and Frank Hutter. 21] Ilya LoshchilovとFrank Hutter。 0.71
2016. CMA-ES for hyperparameter optimiza- 2016. 超パラメータオプティミザ用CMA-ES- 0.72
tion of deep neural networks. ディープニューラルネットワークの操作。 0.55
arXiv preprint arXiv:1604.07269 (2016). arXiv preprint arXiv:1604.07269 (2016)。 0.77
[22] Chengqiang Lu, Qi Liu, Chao Wang, Zhenya Huang, Peize Lin, and Lixin He. [22]Chengqiang Lu, Qi Liu, Chao Wang, Zhenya Huang, Peize Lin, Lixin He。 0.73
2019. Molecular property prediction: A multilevel quantum interactions modeling perspective. 2019. 分子特性予測:多レベル量子相互作用モデリングの視点。 0.85
In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. AAAI Conference on Artificial Intelligence, Vol. に参加して 0.75
33. 1052–1060. 33. 1052–1060. 0.78
[23] Emanuel Parzen. エマニュエル・パーゼン(Emanuel Parzen)。 0.52
1962. On estimation of a probability density function and mode. 1962. 確率密度関数とモードの推定について 0.78
The annals of mathematical statistics 33, 3 (1962), 1065–1076. annals of mathematical statistics 33, 3 (1962), 1065–1076。 0.81
[24] Philipp M Pflüger and Frank Glorius. [24] Philipp M PflügerとFrank Glorius。 0.80
2020. Molecular machine learning: the future of synthetic chemistry? 2020. 分子機械学習: 合成化学の未来? 0.76
Angewandte Chemie International Edition 59, 43 (2020), 18860–18865. Angewandte Chemie International Edition 59, 43 (2020), 18860–18865。 0.87
[25] Jonathan Shlomi, Peter Battaglia, and Jean-Roch Vlimant. ジョナサン・シュロミ、Peter Battaglia、Jean-Roch Vlimant。 0.47
2020. Graph neural networks in particle physics. 2020. 粒子物理学におけるグラフニューラルネットワーク 0.84
Machine Learning: Science and Technology 2, 2 (2020), 021001. 機械学習:Science and Technology 2, 2 (2020), 021001。 0.75
[26] Oliver Wieder, Stefan Kohlbacher, Mélaine Kuenemann, Arthur Garon, Pierre Ducrot, Thomas Seidel, and Thierry Langer. Oliver Wieder氏、Stefan Kohlbacher氏、Mélaine Kuenemann氏、Arthur Garon氏、Pierre Ducrot氏、Thomas Seidel氏、Thierry Langer氏。 0.71
2020. A compact review of molecular property prediction with graph neural networks. 2020. グラフニューラルネットワークを用いた分子特性予測のコンパクト化 0.78
Drug Discovery Today: Technologies (2020). 創薬の今日:技術(2020年)。 0.75
[27] Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, and IEEE 27] Zonghan Wu、Shirui Pan、Fengwen Chen、Guodong Long、Chengqi Zhang、IEEE。 0.68
S Yu Philip. 2020. フィリップ・ユ。 2020. 0.72
A comprehensive survey on graph neural networks. グラフニューラルネットワークに関する包括的な調査。 0.77
英語(論文から抽出)日本語訳スコア
A Systematic Comparison Study on Hyperparameter Optimisation of Graph Neural Networks グラフニューラルネットワークのハイパーパラメータ最適化に関するシステム比較研究 0.87
2021, Feb, 05 2021年2月05日 0.87
transactions on neural networks and learning systems (2020). ニューラルネットワークと学習システムに関するトランザクション(2020年)。 0.81
[29] Keyulu Xu, Weihua Hu, Jure Leskovec, and Stefanie Jegelka. [29] Keyulu Xu、Weihua Hu、Jure Leskovec、Stefanie Jegelka。 0.60
2018. How powerful 2018. いかに強力か 0.69
[28] Zhenqin Wu, Bharath Ramsundar, Evan N Feinberg, Joseph Gomes, Caleb Geniesse, Aneesh S Pappu, Karl Leswing, and Vijay Pande. [28] Zhenqin Wu、Bharath Ramsundar、Evan N Feinberg、Joseph Gomes、Caleb Geniesse、Aneesh S Pappu、Karl Leswing、Vijay Pande。
訳抜け防止モード: [28 ]Zhenqin Wu, Bharath Ramsundar, Evan N Feinberg, Joseph Gomes, Caleb Geniesse, Aneesh S Pappu, Karl Leswing そして、ヴィジェイ・パンデ。
0.73
2018. MoleculeNet: a benchmark for molecular machine learning. 2018. MoleculeNet: 分子機械学習のベンチマーク。 0.78
Chemical science 9, 2 (2018), 513– 530. 化学科学 9, 2 (2018), 513– 530。 0.77
are graph neural networks? グラフニューラルネットワークですか? 0.76
arXiv preprint arXiv:1810.00826 (2018). arXiv preprint arXiv:1810.00826 (2018)。 0.77
[30] Zelda B Zabinsky. 30] ゼルダ b ザビンスキー 0.54
2010. Random search algorithms. 2010. ランダム検索アルゴリズム。 0.80
Wiley encyclopedia of oper- Wiley encyclopedia of oper- 0.98
ations research and management science (2010). ation Research and Management Science (2010) の略。 0.81
                   ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。