論文の概要: Analyzing the Performance of Deep Encoder-Decoder Networks as Surrogates
for a Diffusion Equation
- arxiv url: http://arxiv.org/abs/2302.03786v1
- Date: Tue, 7 Feb 2023 22:53:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-09 18:00:57.367044
- Title: Analyzing the Performance of Deep Encoder-Decoder Networks as Surrogates
for a Diffusion Equation
- Title（参考訳）: 拡散方程式のサロゲートとしてのディープエンコーダデコーダネットワークの性能解析
- Authors: J. Quetzalcoatl Toledo-Marin, James A. Glazier, Geoffrey Fox
- Abstract要約: 本研究では,エンコーダ・デコーダ畳み込みニューラルネットワーク(CNN)を定常拡散解法の代用として利用することを検討した。
その結果,トレーニングセットのサイズが大きくなると,性能変動や全体的な誤差の低減に大きく影響することが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks (NNs) have proven to be a viable alternative to traditional
direct numerical algorithms, with the potential to accelerate computational
time by several orders of magnitude. In the present paper we study the use of
encoder-decoder convolutional neural network (CNN) as surrogates for
steady-state diffusion solvers. The construction of such surrogates requires
the selection of an appropriate task, network architecture, training set
structure and size, loss function, and training algorithm hyperparameters. It
is well known that each of these factors can have a significant impact on the
performance of the resultant model. Our approach employs an encoder-decoder CNN
architecture, which we posit is particularly well-suited for this task due to
its ability to effectively transform data, as opposed to merely compressing it.
We systematically evaluate a range of loss functions, hyperparameters, and
training set sizes. Our results indicate that increasing the size of the
training set has a substantial effect on reducing performance fluctuations and
overall error. Additionally, we observe that the performance of the model
exhibits a logarithmic dependence on the training set size. Furthermore, we
investigate the effect on model performance by using different subsets of data
with varying features. Our results highlight the importance of sampling the
configurational space in an optimal manner, as this can have a significant
impact on the performance of the model and the required training time. In
conclusion, our results suggest that training a model with a pre-determined
error performance bound is not a viable approach, as it does not guarantee that
edge cases with errors larger than the bound do not exist. Furthermore, as most
surrogate tasks involve a high dimensional landscape, an ever increasing
training set size is, in principle, needed, however it is not a practical
solution.
- Abstract（参考訳）: ニューラルネットワーク(NN)は、数桁の計算時間を高速化する可能性があり、従来の直接数値アルゴリズムの代替となることが証明されている。
本稿では,エンコーダ・デコーダ畳み込みニューラルネットワーク(CNN)を定常拡散解法の代用として利用することを検討した。
このようなサロゲートの構築には、適切なタスク、ネットワークアーキテクチャ、トレーニングセットの構造とサイズ、損失関数、トレーニングアルゴリズムハイパーパラメータの選択が必要である。
これらの要因のそれぞれが、結果のモデルの性能に大きな影響を与えることはよく知られている。
提案手法はエンコーダ・デコーダCNNアーキテクチャを用いており, 単に圧縮するのではなく, 効率よくデータを変換できるため, この問題に特に適している。
我々は,損失関数,ハイパーパラメータ,トレーニングセットサイズを体系的に評価する。
その結果,トレーニングセットのサイズが大きくなると,性能変動や全体的な誤差の低減に大きく影響することが示唆された。
さらに、モデルの性能がトレーニングセットのサイズに対数依存していることが観察された。
さらに,異なる特徴を持つデータのサブセットを用いて,モデル性能への影響を検討する。
本結果は,モデルの性能と必要なトレーニング時間に大きな影響を与える可能性があるため,最適に構成空間をサンプリングすることの重要性を強調した。
結論として,境界よりも誤差が大きいエッジケースが存在しないことを保証できないため,事前決定された誤差パフォーマンス境界を持つモデルのトレーニングは有効なアプローチではないことを示唆する。
さらに、ほとんどの代理的なタスクは高次元のランドスケープを伴うため、トレーニングセットのサイズは原則として増加するが、実用的な解決策ではない。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
ディープオペレータネットワーク(DeepNet)は、様々な科学的・工学的応用における複雑な力学のリアルタイム予測に成功している。
本稿では,DeepONetのトレーニングを取り入れたランダムサンプリング手法を提案する。
実験の結果,訓練中にトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性と堅牢性が向上し,複雑な物理系のモデリングにおけるフレームワークの性能向上に期待できる道筋が得られた。
論文 参考訳（メタデータ） (2024-09-20T07:18:31Z) - Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。
この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。
本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。
ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
論文 参考訳（メタデータ） (2024-09-17T19:59:57Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳（メタデータ） (2023-06-14T01:24:42Z) - A Generic Performance Model for Deep Learning in a Distributed
Environment [0.7829352305480285]
本稿では,アプリケーション実行時間の汎用表現を用いた分散環境におけるアプリケーションの汎用性能モデルを提案する。
提案手法を3つのディープラーニングフレームワーク(MXnetとPytorch)で評価した。
論文 参考訳（メタデータ） (2023-05-19T13:30:34Z) - LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。
固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。
我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
論文 参考訳（メタデータ） (2022-10-28T09:53:05Z) - SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。
SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。
実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
論文 参考訳（メタデータ） (2020-07-15T11:21:31Z) - Influence Functions in Deep Learning Are Fragile [52.31375893260445]
影響関数は、テスト時間予測におけるサンプルの効果を近似する。
影響評価は浅いネットワークでは かなり正確です
ヘッセン正則化は、高品質な影響推定を得るために重要である。
論文 参考訳（メタデータ） (2020-06-25T18:25:59Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。