論文の概要: A Study of Genetic Algorithms for Hyperparameter Optimization of Neural Networks in Machine Translation

• arxiv url: http://arxiv.org/abs/2009.08928v1
• Date: Tue, 15 Sep 2020 02:24:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 05:21:10.445412
• Title: A Study of Genetic Algorithms for Hyperparameter Optimization of Neural Networks in Machine Translation
• Title（参考訳）: 機械翻訳におけるニューラルネットワークのハイパーパラメータ最適化のための遺伝的アルゴリズムの検討
• Authors: Keshav Ganapathy
• Abstract要約: 遺伝的アルゴリズムを用いて,ダーウィンのファイトテスト理論の生存をモデルとした自動チューニング手法を提案する。 研究結果は,提案手法であるGAがハイパーパラメータのランダムな選択よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With neural networks having demonstrated their versatility and benefits, the need for their optimal performance is as prevalent as ever. A defining characteristic, hyperparameters, can greatly affect its performance. Thus engineers go through a process, tuning, to identify and implement optimal hyperparameters. That being said, excess amounts of manual effort are required for tuning network architectures, training configurations, and preprocessing settings such as Byte Pair Encoding (BPE). In this study, we propose an automatic tuning method modeled after Darwin's Survival of the Fittest Theory via a Genetic Algorithm (GA). Research results show that the proposed method, a GA, outperforms a random selection of hyperparameters.
• Abstract（参考訳）: ニューラルネットワークはその汎用性とメリットを実証しているため、最適なパフォーマンスの必要性は、かつてないほど一般的である。 定義特性であるハイパーパラメータは、その性能に大きな影響を与える。 したがって、エンジニアは最適なハイパーパラメータを特定し、実装するためのプロセス、チューニングを行う。 とはいえ、ネットワークアーキテクチャのチューニング、設定のトレーニング、バイトペアエンコーディング(bpe)のような前処理設定には、余分な手作業が必要となる。 本研究では,遺伝的アルゴリズム(GA)を用いたダーウィンのファイトテスト理論の生存をモデルとした自動チューニング手法を提案する。 その結果,提案手法であるgaはハイパーパラメータのランダム選択よりも優れていることがわかった。

関連論文リスト

• A Comparative Study of Hyperparameter Tuning Methods [0.0]
  木構造型Parzen Estimator (TPE)、遺伝的検索、ランダム検索は回帰および分類タスク間で評価される。 ランダム検索は回帰タスクに優れ、TPEは分類タスクに効果的であった。
  論文  参考訳（メタデータ） (2024-08-29T10:35:07Z)
• Circuit-centric Genetic Algorithm (CGA) for Analog and Radio-Frequency Circuit Optimization [3.0996501197166975]
  本稿では,アナログ/高周波回路におけるパラメータの自動最適化手法を提案する。 設計対象は、消費電力とノイズフィギュアの低減と変換ゲインの増加を含む。 回路中心型遺伝的アルゴリズム(CGA)の概念は実現可能なアプローチとして提案されている。
  論文  参考訳（メタデータ） (2023-11-19T02:33:22Z)
• Deep Ranking Ensembles for Hyperparameter Optimization [9.453554184019108]
  本稿では,メタ学習型ニューラルネットワークが構成性能のランク付けに最適化され,アンサンブルによる不確実性をモデル化する手法を提案する。 12のベースライン、16のHPO検索スペース、86のデータセット/タスクからなる大規模実験プロトコルにおいて、本手法がHPOの新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2023-03-27T13:52:40Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• A Population-based Hybrid Approach to Hyperparameter Optimization for Neural Networks [0.0]
  HBRKGAは、Biased Random Key Genetic AlgorithmとRandom Walk技術を組み合わせて、ハイパーパラメータ空間を効率的に探索するハイブリッドアプローチである。 その結果、HBRKGAは8つのデータセットのうち6つにおいて、ベースライン法よりも優れたハイパーパラメータ構成を見つけることができた。
  論文  参考訳（メタデータ） (2020-11-22T17:12:31Z)
• How much progress have we made in neural network training? A New Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
  本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。 評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。 次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
  論文  参考訳（メタデータ） (2020-10-19T21:46:39Z)
• Genetic-algorithm-optimized neural networks for gravitational wave classification [0.0]
  遺伝的アルゴリズム(GA)に基づくハイパーパラメータ最適化の新しい手法を提案する。 我々は,初期パラメータのシード値が良い解には程遠い場合に,GAが高品質なアーキテクチャを発見できることを示す。 遺伝的アルゴリズムの最適化を用いて既存のネットワークを洗練することは、問題コンテキストが変化した場合に特に有用である。
  論文  参考訳（メタデータ） (2020-10-09T03:14:20Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
  本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。 実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
  論文  参考訳（メタデータ） (2020-07-11T03:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。