論文の概要: Streamlining Ocean Dynamics Modeling with Fourier Neural Operators: A Multiobjective Hyperparameter and Architecture Optimization Approach
- arxiv url: http://arxiv.org/abs/2404.05768v1
- Date: Sun, 7 Apr 2024 14:29:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 18:58:15.265019
- Title: Streamlining Ocean Dynamics Modeling with Fourier Neural Operators: A Multiobjective Hyperparameter and Architecture Optimization Approach
- Title（参考訳）: フーリエニューラル演算子を用いた流線形海洋力学モデリング:多目的ハイパーパラメータとアーキテクチャ最適化アプローチ
- Authors: Yixuan Sun, Ololade Sowunmi, Romain Egele, Sri Hari Krishna Narayanan, Luke Van Roekel, Prasanna Balaprakash,
- Abstract要約: 我々は多目的最適化にDeepHyperの高度な検索アルゴリズムを利用する。
焦点は、複雑な海洋挙動をシミュレート可能なデータ駆動モデルであるフーリエニューラル演算子(FNO)の最適化である。
本研究では, 海洋力学予測におけるFNOの利用を向上する手法を示し, 精度を向上したスケーラブルなソリューションを提供する。
- 参考スコア（独自算出の注目度）: 5.232806761554172
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training an effective deep learning model to learn ocean processes involves careful choices of various hyperparameters. We leverage DeepHyper's advanced search algorithms for multiobjective optimization, streamlining the development of neural networks tailored for ocean modeling. The focus is on optimizing Fourier neural operators (FNOs), a data-driven model capable of simulating complex ocean behaviors. Selecting the correct model and tuning the hyperparameters are challenging tasks, requiring much effort to ensure model accuracy. DeepHyper allows efficient exploration of hyperparameters associated with data preprocessing, FNO architecture-related hyperparameters, and various model training strategies. We aim to obtain an optimal set of hyperparameters leading to the most performant model. Moreover, on top of the commonly used mean squared error for model training, we propose adopting the negative anomaly correlation coefficient as the additional loss term to improve model performance and investigate the potential trade-off between the two terms. The experimental results show that the optimal set of hyperparameters enhanced model performance in single timestepping forecasting and greatly exceeded the baseline configuration in the autoregressive rollout for long-horizon forecasting up to 30 days. Utilizing DeepHyper, we demonstrate an approach to enhance the use of FNOs in ocean dynamics forecasting, offering a scalable solution with improved precision.
- Abstract（参考訳）: 海洋プロセスを学ぶための効果的なディープラーニングモデルを訓練するには、様々なハイパーパラメータの慎重に選択する必要がある。
DeepHyperの高度な検索アルゴリズムを多目的最適化に活用し、海洋モデルに適したニューラルネットワークの開発を合理化します。
焦点は、複雑な海洋挙動をシミュレート可能なデータ駆動モデルであるフーリエニューラル演算子(FNO)の最適化である。
正しいモデルを選択し、ハイパーパラメータをチューニングするのは難しい作業です。
DeepHyperは、データ前処理、FNOアーキテクチャ関連のハイパーパラメータ、およびさまざまなモデルトレーニング戦略に関連するハイパーパラメータの効率的な探索を可能にする。
我々は,最も高性能なモデルに導かれる最適なハイパーパラメータの集合を得ることを目指している。
さらに,モデルトレーニングにおいて一般的に使用される平均2乗誤差に加えて,負の異常相関係数を付加損失項として適用してモデル性能を向上し,両項間の潜在的なトレードオフを検討することを提案する。
実験結果から, 単一タイムステッピング予測におけるモデル性能の最適セットは, 30日間の長期予測において, 自己回帰ロールアウトにおけるベースライン構成を大きく上回った。
DeepHyperを利用することで、海洋力学予測におけるFNOの利用を向上し、精度を向上したスケーラブルなソリューションを提供することを実証する。
関連論文リスト
- Efficient Hyperparameter Importance Assessment for CNNs [1.7778609937758323]
本稿では,畳み込みニューラルネットワーク(CNN)におけるハイパーパラメータの重み付けを,N-RReliefFというアルゴリズムを用いて定量化する。
我々は10の人気のある画像分類データセットから1万以上のCNNモデルをトレーニングし、広範囲にわたる研究を行う。
論文 参考訳（メタデータ） (2024-10-11T15:47:46Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Model Performance Prediction for Hyperparameter Optimization of Deep
Learning Models Using High Performance Computing and Quantum Annealing [0.0]
モデル性能予測を早期停止法と組み合わせることで,ディープラーニングモデルのHPOプロセスの高速化が期待できることを示す。
我々は,古典的あるいは量子的サポートベクター回帰を性能予測に用いるSwift-Hyperbandと呼ばれる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-29T10:32:40Z) - Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。
我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。
公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
論文 参考訳（メタデータ） (2023-10-18T17:56:24Z) - Hyperparameter Optimization with Neural Network Pruning [6.193231258199234]
ハイパーパラメータ最適化に用いるニューラルネットワーク(N_B)のプロキシモデルを提案する。
提案されたフレームワークは、最大37%の時間を削減することができる。
論文 参考訳（メタデータ） (2022-05-18T02:51:47Z) - Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。
ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。
ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
論文 参考訳（メタデータ） (2022-04-09T22:07:34Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - An Asymptotically Optimal Multi-Armed Bandit Algorithm and
Hyperparameter Optimization [48.5614138038673]
本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。
また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。
実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
論文 参考訳（メタデータ） (2020-07-11T03:15:21Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-06-18T19:11:54Z) - Weighting Is Worth the Wait: Bayesian Optimization with Importance
Sampling [34.67740033646052]
ベイジアン最適化のステート・オブ・ザ・アートランタイムと,さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善した。
評価の複雑さと品質をトレードオフするISのパラメータ化を学習することで、ベイジアン最適化のステート・オブ・ザ・アートランタイムと、さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善します。
論文 参考訳（メタデータ） (2020-02-23T15:52:08Z) - Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。
LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
論文 参考訳（メタデータ） (2020-02-12T18:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。