論文の概要: ELM-DeepONets: Backpropagation-Free Training of Deep Operator Networks via Extreme Learning Machines

• arxiv url: http://arxiv.org/abs/2501.09395v1
• Date: Thu, 16 Jan 2025 09:06:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:11:01.739933
• Title: ELM-DeepONets: Backpropagation-Free Training of Deep Operator Networks via Extreme Learning Machines
• Title（参考訳）: ELM-DeepONets: エクストリームラーニングマシンによる深層演算子のバックプロパゲーションフリートレーニング
• Authors: Hwijae Son,
• Abstract要約: Deep Operator Networks (DeepONets)は、オペレータ学習のための最も著名なフレームワークである。 我々は,ELMのバックプロパゲーションフリーな性質を活用する,DeepONetsのためのエクストリーム学習マシン(ELM)フレームワークであるELM-DeepONetsを提案する。
• 参考スコア（独自算出の注目度）: 0.4895118383237099
• License:
• Abstract: Deep Operator Networks (DeepONets) are among the most prominent frameworks for operator learning, grounded in the universal approximation theorem for operators. However, training DeepONets typically requires significant computational resources. To address this limitation, we propose ELM-DeepONets, an Extreme Learning Machine (ELM) framework for DeepONets that leverages the backpropagation-free nature of ELM. By reformulating DeepONet training as a least-squares problem for newly introduced parameters, the ELM-DeepONet approach significantly reduces training complexity. Validation on benchmark problems, including nonlinear ODEs and PDEs, demonstrates that the proposed method not only achieves superior accuracy but also drastically reduces computational costs. This work offers a scalable and efficient alternative for operator learning in scientific computing.
• Abstract（参考訳）: Deep Operator Networks(ディープ・オペレータ・ネットワークズ、DeepONets)は、演算子の普遍近似定理に基づく演算子学習の最も顕著なフレームワークの一つである。 しかし、DeepONetsのトレーニングは通常、かなりの計算資源を必要とする。 この制限に対処するため,ELM のバックプロパゲーションフリー性を活用した DeepONets のための Extreme Learning Machine (ELM) フレームワークである ELM-DeepONets を提案する。 新たに導入されたパラメータの最小二乗問題としてDeepONetトレーニングを再構成することにより、EMM-DeepONetアプローチはトレーニングの複雑さを著しく低減する。 非線形ODEやPDEなどのベンチマーク問題に対する検証は,提案手法が優れた精度を実現するだけでなく,計算コストを大幅に削減することを示した。 この研究は、科学計算における演算子学習のスケーラブルで効率的な代替手段を提供する。

関連論文リスト

• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• RandONet: Shallow-Networks with Random Projections for learning linear and nonlinear operators [0.0]
  ランダムプロジェクションに基づく演算子ネットワーク(RandONets)を提案する。 ランダムネット(RandONets)は、線形および非線形作用素を学習するランダムプロジェクションを持つ浅いネットワークである。 このタスクにおいて、RandONetsは数値近似の精度と計算コストの両面で、バニラ"DeepOnetsよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-08T13:20:48Z)
• Nonlinear model reduction for operator learning [1.0364028373854508]
  本稿では,ニューラルネットワークとカーネル主成分分析(KPCA)を組み合わせた演算子学習のための効率的なフレームワークを提案する。 本結果は,POD-DeepONetよりもKPCA-DeepONetの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-27T16:24:26Z)
• HyperDeepONet: learning operator with complex target function space using the limited resources via hypernetwork [14.93012615797081]
  本研究では,ハイパーネットワークの表現力を利用して,より少ないパラメータ集合を持つ複素演算子の学習を可能にするHyperDeepONetを提案する。 We analyze the complexity of DeepONet and conclusion that HyperDeepONet requires relatively less complexity to obtained the desired accuracy for operator learning。
  論文  参考訳（メタデータ） (2023-12-26T08:28:46Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Deep Learning Meets Adaptive Filtering: A Stein's Unbiased Risk Estimator Approach [13.887632153924512]
  本稿では,Deep RLSとDeep EASIというタスクベースのディープラーニングフレームワークを紹介する。 これらのアーキテクチャは、元のアルゴリズムの繰り返しをディープニューラルネットワークの層に変換し、効率的なソース信号推定を可能にする。 性能をさらに向上するために、我々は、スタインの非バイアスリスク推定器(SURE)に基づく代理損失関数を用いた、これらの深層無ロールネットワークのトレーニングを提案する。
  論文  参考訳（メタデータ） (2023-07-31T14:26:41Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Improved architectures and training algorithms for deep operator networks [0.0]
  演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。 我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
  論文  参考訳（メタデータ） (2021-10-04T18:34:41Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。