論文の概要: Generative flow induced neural architecture search: Towards discovering optimal architecture in wavelet neural operator
- arxiv url: http://arxiv.org/abs/2405.06910v1
- Date: Sat, 11 May 2024 04:38:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 19:22:14.472482
- Title: Generative flow induced neural architecture search: Towards discovering optimal architecture in wavelet neural operator
- Title（参考訳）: 生成的フロー誘導型ニューラルアーキテクチャ探索:ウェーブレットニューラル演算子における最適アーキテクチャの発見を目指して
- Authors: Hartej Soin, Tapas Tripura, Souvik Chakraborty,
- Abstract要約: 生成フロー誘導型ニューラルアーキテクチャ探索アルゴリズムを提案する。
提案フレームワークは、端末状態からの正の報酬に基づいて、最も確率の高いシーケンスを生成する。
- 参考スコア（独自算出の注目度）: 0.8192907805418583
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We propose a generative flow-induced neural architecture search algorithm. The proposed approach devices simple feed-forward neural networks to learn stochastic policies to generate sequences of architecture hyperparameters such that the generated states are in proportion with the reward from the terminal state. We demonstrate the efficacy of the proposed search algorithm on the wavelet neural operator (WNO), where we learn a policy to generate a sequence of hyperparameters like wavelet basis and activation operators for wavelet integral blocks. While the trajectory of the generated wavelet basis and activation sequence is cast as flow, the policy is learned by minimizing the flow violation between each state in the trajectory and maximizing the reward from the terminal state. In the terminal state, we train WNO simultaneously to guide the search. We propose to use the exponent of the negative of the WNO loss on the validation dataset as the reward function. While the grid search-based neural architecture generation algorithms foresee every combination, the proposed framework generates the most probable sequence based on the positive reward from the terminal state, thereby reducing exploration time. Compared to reinforcement learning schemes, where complete episodic training is required to get the reward, the proposed algorithm generates the hyperparameter trajectory sequentially. Through four fluid mechanics-oriented problems, we illustrate that the learned policies can sample the best-performing architecture of the neural operator, thereby improving the performance of the vanilla wavelet neural operator.
- Abstract（参考訳）: 生成フロー誘導型ニューラルアーキテクチャ探索アルゴリズムを提案する。
提案手法は、単純なフィードフォワードニューラルネットワークを用いて確率的ポリシーを学習し、生成された状態が端末状態からの報酬に比例するようにアーキテクチャハイパーパラメータのシーケンスを生成する。
本稿では,ウェーブレットベースやウェーブレット積分ブロックのアクティベーション演算子などのハイパーパラメータ列を生成するポリシーを学習するウェーブレットニューラル演算子(WNO)に対する探索アルゴリズムの有効性を示す。
生成されたウェーブレットベースとアクティベーションシーケンスの軌跡をフローとしてキャストする一方、この方針は、軌跡内の各状態間のフロー違反を最小化し、終端状態からの報酬を最大化する。
端末状態では、検索をガイドするために同時にWNOを訓練する。
本稿では,評価データセットにおけるWNO損失の負の指数を報酬関数として用いることを提案する。
グリッド探索に基づくニューラルアーキテクチャ生成アルゴリズムは,各組み合わせを予測しながら,端末状態からの正の報酬に基づいて最も確率の高いシーケンスを生成し,探索時間を短縮する。
報酬を得るには完全なエピソジック・トレーニングが必要である強化学習方式と比較して,提案アルゴリズムはハイパーパラメータ・トラジェクトリを逐次生成する。
流体力学を指向した4つの問題を通じて、学習したポリシがニューラル演算子の最も優れた性能を持つアーキテクチャをサンプリングし、バニラウェーブレットニューラル演算子の性能を向上させることができることを示す。
関連論文リスト
- Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
ディープオペレータネットワーク(DeepNet)は、様々な科学的・工学的応用における複雑な力学のリアルタイム予測に成功している。
本稿では,DeepONetのトレーニングを取り入れたランダムサンプリング手法を提案する。
実験の結果,訓練中にトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性と堅牢性が向上し,複雑な物理系のモデリングにおけるフレームワークの性能向上に期待できる道筋が得られた。
論文 参考訳（メタデータ） (2024-09-20T07:18:31Z) - From Fourier to Neural ODEs: Flow Matching for Modeling Complex Systems [20.006163951844357]
ニューラル常微分方程式(NODE)を学習するためのシミュレーション不要なフレームワークを提案する。
フーリエ解析を用いて、ノイズの多い観測データから時間的および潜在的高次空間勾配を推定する。
我々の手法は、トレーニング時間、ダイナミクス予測、堅牢性の観点から、最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2024-05-19T13:15:23Z) - Enhanced quantum state preparation via stochastic prediction of neural
network [0.8287206589886881]
本稿では,ニューラルネットワークの知識盲点を生かして,アルゴリズムの有効性を高めるための興味深い道を探る。
本手法は,半導体ダブル量子ドットシステムにおける任意の量子状態の生成に使用される機械学習アルゴリズムを中心にしている。
ニューラルネットワークが生成した予測を活用することにより、最適化プロセスの導出により、局所最適化を回避できる。
論文 参考訳（メタデータ） (2023-07-27T09:11:53Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-04-03T13:25:22Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Interval Reachability of Nonlinear Dynamical Systems with Neural Network
Controllers [5.543220407902113]
本稿では、ニューラルネットワークコントローラを用いた非線形連続時間力学系の厳密な検証のための区間解析に基づく計算効率の良いフレームワークを提案する。
混合単調理論に着想を得て,ニューラルネットワークの包摂関数と開ループシステムの分解関数を用いて,閉ループ力学をより大きなシステムに組み込む。
埋め込みシステムの単一軌跡を用いて、到達可能な集合の超矩形超近似を効率的に計算できることが示される。
論文 参考訳（メタデータ） (2023-01-19T06:46:36Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。
前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。
提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
論文 参考訳（メタデータ） (2022-05-13T21:09:41Z) - PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks
with Probabilities over Representations [2.047424180164312]
本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。
我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
論文 参考訳（メタデータ） (2021-10-28T14:11:07Z) - Phase Retrieval using Expectation Consistent Signal Recovery Algorithm
based on Hypernetwork [73.94896986868146]
位相検索は現代の計算イメージングシステムにおいて重要な要素である。
近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。
我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
論文 参考訳（メタデータ） (2021-01-12T08:36:23Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳（メタデータ） (2020-09-11T11:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。