論文の概要: Exploring Randomly Wired Neural Networks for Climate Model Emulation
- arxiv url: http://arxiv.org/abs/2212.03369v3
- Date: Mon, 3 Jul 2023 20:36:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 23:37:12.453794
- Title: Exploring Randomly Wired Neural Networks for Climate Model Emulation
- Title（参考訳）: 気候モデルエミュレーションのためのランダム有線ニューラルネットワークの検討
- Authors: William Yik, Sam J. Silva, Andrew Geiss, Duncan Watson-Parris
- Abstract要約: ランダムに配線されたニューラルネットワークをどのように構築し、それらを標準フィードフォワードと比較するかを説明する。
複雑なアーキテクチャの少ないモデルでは、ランダムな配線を追加することで、最大のパフォーマンス向上が期待できる。
また、標準フィードフォワード密度層を持つネットワークとランダムな有線層を持つネットワークとの間には、予測速度に有意な差は見つからない。
- 参考スコア（独自算出の注目度）: 0.6451914896767135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Exploring the climate impacts of various anthropogenic emissions scenarios is
key to making informed decisions for climate change mitigation and adaptation.
State-of-the-art Earth system models can provide detailed insight into these
impacts, but have a large associated computational cost on a per-scenario
basis. This large computational burden has driven recent interest in developing
cheap machine learning models for the task of climate model emulation. In this
manuscript, we explore the efficacy of randomly wired neural networks for this
task. We describe how they can be constructed and compare them to their
standard feedforward counterparts using the ClimateBench dataset. Specifically,
we replace the serially connected dense layers in multilayer perceptrons,
convolutional neural networks, and convolutional long short-term memory
networks with randomly wired dense layers and assess the impact on model
performance for models with 1 million and 10 million parameters. We find that
models with less complex architectures see the greatest performance improvement
with the addition of random wiring (up to 30.4% for multilayer perceptrons).
Furthermore, out of 24 different model architecture, parameter count, and
prediction task combinations, only one saw a statistically significant
performance deficit in randomly wired networks compared to their standard
counterparts, with 14 cases showing statistically significant improvement. We
also find no significant difference in prediction speed between networks with
standard feedforward dense layers and those with randomly wired layers. These
findings indicate that randomly wired neural networks may be suitable direct
replacements for traditional dense layers in many standard models.
- Abstract（参考訳）: 様々な人為的排出シナリオの気候影響を探索することは、気候変動の緩和と適応のための情報的な決定を下す鍵となる。
最先端の地球システムモデルは、これらの影響について詳細な知見を提供することができるが、シナリオごとに計算コストが大きい。
この膨大な計算負荷は、気候モデルエミュレーションのタスクのための安価な機械学習モデルの開発に近年の関心を惹き付けている。
本稿では,この課題に対するランダム配線ニューラルネットワークの有効性について検討する。
本稿では、climatebenchデータセットを用いて、それらの構築方法を記述し、標準feedforwardと比較する。
具体的には,多層パーセプトロン,畳み込みニューラルネットワーク,畳み込み型長期記憶ネットワークの直列接続層をランダムに結合した密集層で置き換え,100万から1000万のパラメータを持つモデルにおけるモデル性能への影響を評価する。
複雑なアーキテクチャの少ないモデルでは、ランダムな配線(多層パーセプトロンでは最大30.4%)で最大の性能向上が見られる。
さらに、24の異なるモデルアーキテクチャ、パラメータ数、予測タスクの組み合わせのうち、標準のネットワークに比べて統計的に有意な性能低下がみられ、14のケースで統計的に有意な改善が見られた。
また,標準フィードフォワード密度層を持つネットワークとランダムに有線層を有するネットワークとの間には,予測速度に有意な差は認められなかった。
これらの結果は、ランダムに配線されたニューラルネットワークが、多くの標準モデルにおいて従来の高密度層を直接置き換えるのに適していることを示唆している。
関連論文リスト
- Multi-Fidelity Bayesian Neural Network for Uncertainty Quantification in Transonic Aerodynamic Loads [0.0]
本稿では,多要素ベイズニューラルネットワークモデルを実装し,異なる忠実度モデルによって生成されたデータに転送学習を適用した。
その結果,マルチ忠実ベイズモデルでは,非表示データに対する総合的精度とロバスト性の観点から,最先端のCo-Krigingよりも優れていた。
論文 参考訳（メタデータ） (2024-07-08T07:34:35Z) - Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。
フェデレートラーニングにおいて最も顕著に用いられている。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳（メタデータ） (2023-07-13T09:39:10Z) - Comparing Deep Learning Models for the Task of Volatility Prediction
Using Multivariate Data [4.793572485305333]
論文は、より単純で浅いものから、より深くより複雑なアーキテクチャまで、さまざまなモデルを評価する。
5つの資産(S&P500、NASDAQ100、金、銀、石油)のボラティリティの予測は、特にGARCHモデルを用いて対処される。
論文 参考訳（メタデータ） (2023-06-20T17:10:13Z) - Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳（メタデータ） (2023-04-14T09:39:06Z) - A Spatio-Temporal Neural Network Forecasting Approach for Emulation of
Firefront Models [11.388800758488314]
モデルエミュレーションのための専用時間ニューラルネットワークベースのフレームワークを提案する。
提案手法は、ニューラルネットワークに基づくアプローチにおいてしばしば困難となる、空間的および時間的細部での予測を近似することができる。
実証実験では、シミュレーションとエミュレートされたファイアフロント間の良好な一致が示され、平均的なジャカードスコアは0.76である。
論文 参考訳（メタデータ） (2022-06-17T03:11:18Z) - An advanced spatio-temporal convolutional recurrent neural network for
storm surge predictions [73.4962254843935]
本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。
本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
論文 参考訳（メタデータ） (2022-04-18T23:42:18Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - Multi-fidelity regression using artificial neural networks: efficient
approximation of parameter-dependent output quantities [0.17499351967216337]
本稿では,多元性回帰問題に対するニューラルネットワークの利用について述べる。
導入されたモデルは、従来のマルチファイアリティスキームと比較されます。
また、工学的問題に対するマルチファイダリグレッションの適用も示します。
論文 参考訳（メタデータ） (2021-02-26T11:29:00Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳（メタデータ） (2020-12-17T15:19:29Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。