論文の概要: Bayesian Optimisation for a Biologically Inspired Population Neural Network

• arxiv url: http://arxiv.org/abs/2104.05989v1
• Date: Tue, 13 Apr 2021 07:48:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 23:51:10.611059
• Title: Bayesian Optimisation for a Biologically Inspired Population Neural Network
• Title（参考訳）: バイオインスパイアされた個体群ニューラルネットワークのベイズ最適化
• Authors: Mahak Kothari, Swapna Sasi, Jun Chen, Elham Zareian, Basabdatta Sen Bhattacharya
• Abstract要約: 我々は,集団ニューラルネットワークにおけるハイパーパラメータの探索にベイズ最適化を用いた。 これらのパラメータの最良の組み合わせは、ニューラルネットワークの出力パワースペクトルピークがアルファバンド内で制約されるようになる。 既存のニューラルネットワークのパラメータをトライアル・アンド・エラーのアプローチで調整しました。
• 参考スコア（独自算出の注目度）: 5.416046501610706
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We have used Bayesian Optimisation (BO) to find hyper-parameters in an existing biologically plausible population neural network. The 8-dimensional optimal hyper-parameter combination should be such that the network dynamics simulate the resting state alpha rhythm (8 - 13 Hz rhythms in brain signals). Each combination of these eight hyper-parameters constitutes a 'datapoint' in the parameter space. The best combination of these parameters leads to the neural network's output power spectral peak being constraint within the alpha band. Further, constraints were introduced to the BO algorithm based on qualitative observation of the network output time series, so that high amplitude pseudo-periodic oscillations are removed. Upon successful implementation for alpha band, we further optimised the network to oscillate within the theta (4 - 8 Hz) and beta (13 - 30 Hz) bands. The changing rhythms in the model can now be studied using the identified optimal hyper-parameters for the respective frequency bands. We have previously tuned parameters in the existing neural network by the trial-and-error approach; however, due to time and computational constraints, we could not vary more than three parameters at once. The approach detailed here, allows an automatic hyper-parameter search, producing reliable parameter sets for the network.
• Abstract（参考訳）: 我々はベイズ最適化(BO)を用いて、既存の生物学的に可算な個体群ニューラルネットワークにハイパーパラメーターを求める。 8次元の最適ハイパーパラメータの組み合わせは、ネットワークダイナミクスが静止状態のアルファリズム(8-13Hzのリズム)をシミュレートするようにすべきである。 これらの8つのハイパーパラメータの組み合わせは、パラメータ空間の'データポイント'を構成する。 これらのパラメータの最適な組み合わせは、ニューラルネットワークの出力パワースペクトルピークがアルファバンド内の制約となることに繋がる。 さらに、ネットワーク出力時系列の定性的観察に基づいてBOアルゴリズムに制約を導入し、高振幅擬周期振動を除去した。 アルファバンドの実装が成功すると、ネットワークはさらに、theta (4 - 8 Hz) と beta (13 - 30 Hz) で発振するように最適化した。 モデルの変化するリズムは、識別された周波数帯域の最適なハイパーパラメータを用いて研究することができる。 これまで我々は、試行錯誤アプローチで既存のニューラルネットワークのパラメータを調整してきましたが、時間と計算の制約のため、一度に3つ以上のパラメータを変更できませんでした。 このアプローチでは、ハイパーパラメータの自動検索が可能になり、ネットワークの信頼できるパラメータセットを生成する。

関連論文リスト

• Provable Accuracy Bounds for Hybrid Dynamical Optimization and Sampling [1.5551894637785635]
  本稿では,Langevin Diffusion (BLD) アルゴリズムをブロックすることにより,ハイブリッド LNLS の非漸近収束を保証する。 デバイスの変化が有限であれば、ステップ時間、雑音強度、関数パラメータの2-ワッサーシュタインバイアスに明確な境界を与える。
  論文  参考訳（メタデータ） (2024-10-08T22:03:41Z)
• Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
  文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。 そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。 理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-02-18T23:31:20Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Deep Learning-Based Synchronization for Uplink NB-IoT [72.86843435313048]
  狭帯域モノのインターネット(NB-IoT)における狭帯域物理ランダムアクセスチャネル(NPRACH)のデバイス検出と到着時刻推定のためのニューラルネットワーク(NN)に基づくアルゴリズムを提案する。 導入されたNNアーキテクチャは、残余の畳み込みネットワークと、5Gニューラジオ(5G NR)仕様のプリアンブル構造に関する知識を利用する。
  論文  参考訳（メタデータ） (2022-05-22T12:16:43Z)
• Hyperparameter Optimization with Neural Network Pruning [6.193231258199234]
  ハイパーパラメータ最適化に用いるニューラルネットワーク(N_B)のプロキシモデルを提案する。 提案されたフレームワークは、最大37%の時間を削減することができる。
  論文  参考訳（メタデータ） (2022-05-18T02:51:47Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Hyperparameter Tuning is All You Need for LISTA [92.7008234085887]
  Learned Iterative Shrinkage-Thresholding Algorithm (LISTA)は、反復アルゴリズムをアンロールしてニューラルネットワークのようにトレーニングするという概念を導入している。 LISTAネットワークの中間変数に運動量を加えることで、より優れた収束率が得られることを示す。 この超軽量ネットワークをHyperLISTAと呼ぶ。
  論文  参考訳（メタデータ） (2021-10-29T16:35:38Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• A Population-based Hybrid Approach to Hyperparameter Optimization for Neural Networks [0.0]
  HBRKGAは、Biased Random Key Genetic AlgorithmとRandom Walk技術を組み合わせて、ハイパーパラメータ空間を効率的に探索するハイブリッドアプローチである。 その結果、HBRKGAは8つのデータセットのうち6つにおいて、ベースライン法よりも優れたハイパーパラメータ構成を見つけることができた。
  論文  参考訳（メタデータ） (2020-11-22T17:12:31Z)
• Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians [5.33024001730262]
  自己チューニングネットワーク(STN)は,最近,内部目標の最適化を補正する能力によって,注目を集めている。 トレーニングを安定化する改良されたハイパーネットワークアーキテクチャであるDelta$-STNを提案する。
  論文  参考訳（メタデータ） (2020-10-26T12:12:23Z)
• A Study of Genetic Algorithms for Hyperparameter Optimization of Neural Networks in Machine Translation [0.0]
  遺伝的アルゴリズムを用いて,ダーウィンのファイトテスト理論の生存をモデルとした自動チューニング手法を提案する。 研究結果は,提案手法であるGAがハイパーパラメータのランダムな選択よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-15T02:24:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。