論文の概要: Genetic-algorithm-optimized neural networks for gravitational wave classification

• arxiv url: http://arxiv.org/abs/2010.04340v2
• Date: Tue, 20 Apr 2021 15:58:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 04:20:59.832350
• Title: Genetic-algorithm-optimized neural networks for gravitational wave classification
• Title（参考訳）: 重力波分類のための遺伝的アルゴリズム最適化ニューラルネットワーク
• Authors: Dwyer S. Deighan, Scott E. Field, Collin D. Capano, Gaurav Khanna
• Abstract要約: 遺伝的アルゴリズム(GA)に基づくハイパーパラメータ最適化の新しい手法を提案する。 我々は,初期パラメータのシード値が良い解には程遠い場合に,GAが高品質なアーキテクチャを発見できることを示す。 遺伝的アルゴリズムの最適化を用いて既存のネットワークを洗練することは、問題コンテキストが変化した場合に特に有用である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gravitational-wave detection strategies are based on a signal analysis technique known as matched filtering. Despite the success of matched filtering, due to its computational cost, there has been recent interest in developing deep convolutional neural networks (CNNs) for signal detection. Designing these networks remains a challenge as most procedures adopt a trial and error strategy to set the hyperparameter values. We propose a new method for hyperparameter optimization based on genetic algorithms (GAs). We compare six different GA variants and explore different choices for the GA-optimized fitness score. We show that the GA can discover high-quality architectures when the initial hyperparameter seed values are far from a good solution as well as refining already good networks. For example, when starting from the architecture proposed by George and Huerta, the network optimized over the 20-dimensional hyperparameter space has 78% fewer trainable parameters while obtaining an 11% increase in accuracy for our test problem. Using genetic algorithm optimization to refine an existing network should be especially useful if the problem context (e.g. statistical properties of the noise, signal model, etc) changes and one needs to rebuild a network. In all of our experiments, we find the GA discovers significantly less complicated networks as compared to the seed network, suggesting it can be used to prune wasteful network structures. While we have restricted our attention to CNN classifiers, our GA hyperparameter optimization strategy can be applied within other machine learning settings.
• Abstract（参考訳）: 重力波検出戦略は、マッチングフィルタリングと呼ばれる信号解析技術に基づいている。 マッチングフィルタリングの成功にもかかわらず、その計算コストのため、近年は信号検出のための深層畳み込みニューラルネットワーク(cnns)の開発に注目が集まっている。 これらのネットワークの設計は、ほとんどの手順がハイパーパラメータ値を設定するために試行錯誤戦略を採用するため、依然として課題である。 本稿では遺伝的アルゴリズム(GA)に基づくハイパーパラメータ最適化手法を提案する。 6つのGA変種を比較し、GA最適化フィットネススコアの異なる選択を探索する。 GAは、初期ハイパーパラメータのシード値が良い解には程遠い場合や、既に良いネットワークを精錬する場合に、高品質なアーキテクチャを発見できることを示す。 例えば、George and Huerta氏が提案したアーキテクチャから始めると、20次元のハイパーパラメータ空間に最適化されたネットワークは、トレーニング可能なパラメータを78%少なくし、テスト問題の精度は11%向上する。 遺伝的アルゴリズムの最適化を使って既存のネットワークを洗練することは、問題コンテキスト(例えばノイズや信号モデルの統計的特性)が変化し、ネットワークを再構築する必要がある場合に特に有用である。 全ての実験で、GAはシードネットワークに比べてネットワークの複雑度が著しく低いことを発見し、無駄なネットワーク構造を創り出すのに使えることを示唆している。 我々はCNN分類器に注意を絞ったが、GAハイパーパラメータ最適化戦略は他の機械学習設定にも適用できる。

関連論文リスト

• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Genetically Modified Wolf Optimization with Stochastic Gradient Descent for Optimising Deep Neural Networks [0.0]
  本研究の目的は、人口ベースメタヒューリスティックアルゴリズムを用いて、ニューラルネットワーク(NN)重み付けを最適化するための代替アプローチを分析することである。 Grey Wolf (GWO) と Genetic Modified Algorithms (GA) のハイブリッドをグラディエント・Descent (SGD) と組み合わせて検討した。 このアルゴリズムは、高次元性の問題にも対処しながら、エクスプロイトと探索の組み合わせを可能にする。
  論文  参考訳（メタデータ） (2023-01-21T13:22:09Z)
• Multi-agent Reinforcement Learning with Graph Q-Networks for Antenna Tuning [60.94661435297309]
  モバイルネットワークの規模は、手作業による介入や手作業による戦略を使ってアンテナパラメータの最適化を困難にしている。 本研究では,モバイルネットワーク構成をグローバルに最適化するマルチエージェント強化学習アルゴリズムを提案する。 シミュレーション環境におけるアンテナ傾き調整問題とジョイント傾き・電力制御問題に対するアルゴリズムの性能を実証的に示す。
  論文  参考訳（メタデータ） (2023-01-20T17:06:34Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• A Genetic Algorithm with Tree-structured Mutation for Hyperparameter Optimisation of Graph Neural Networks [8.02401104726362]
  グラフニューラルネットワーク(GNN)は、グラフ関連の問題を処理する能力に優れており、注目を集めている。 実際には、高パラメータ最適化(HPO)は、GNNが満足な結果を得るために重要です。 本稿では,この問題を緩和するため,GAのための木構造変異戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-24T00:31:52Z)
• Genetic U-Net: Automatically Designed Deep Networks for Retinal Vessel Segmentation Using a Genetic Algorithm [2.6629444004809826]
  遺伝的U-Netは、より優れた網膜血管セグメンテーションを実現することができるが、アーキテクチャに基づくパラメータが少ないU字型畳み込みニューラルネットワーク(CNN)を生成するために提案されている。 実験の結果,提案手法を用いて得られたアーキテクチャは,元のU-Netパラメータの1%以下で優れた性能を示した。
  論文  参考訳（メタデータ） (2020-10-29T13:31:36Z)
• Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians [5.33024001730262]
  自己チューニングネットワーク(STN)は,最近,内部目標の最適化を補正する能力によって,注目を集めている。 トレーニングを安定化する改良されたハイパーネットワークアーキテクチャであるDelta$-STNを提案する。
  論文  参考訳（メタデータ） (2020-10-26T12:12:23Z)
• A Study of Genetic Algorithms for Hyperparameter Optimization of Neural Networks in Machine Translation [0.0]
  遺伝的アルゴリズムを用いて,ダーウィンのファイトテスト理論の生存をモデルとした自動チューニング手法を提案する。 研究結果は,提案手法であるGAがハイパーパラメータのランダムな選択よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-15T02:24:16Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。