論文の概要: MODNO: Multi Operator Learning With Distributed Neural Operators
- arxiv url: http://arxiv.org/abs/2404.02892v1
- Date: Wed, 3 Apr 2024 17:49:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 16:40:30.941794
- Title: MODNO: Multi Operator Learning With Distributed Neural Operators
- Title（参考訳）: MODNO:分散ニューラルネットワークによるマルチオペレータ学習
- Authors: Zecheng Zhang,
- Abstract要約: 演算子学習の研究には、ニューラルネットワークを近似演算子に利用することが含まれる。
近年の進歩は、数百万から数十億のトレーニング可能なパラメータを備えた基礎モデルを用いて、複数の演算子の近似を急速に拡張している。
本稿では,パラメータが大幅に少ない1つのニューラル演算子で,マルチオペレータ学習の課題に対処することを目的とした,分散トレーニング手法を提案する。
- 参考スコア（独自算出の注目度）: 0.8702432681310401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The study of operator learning involves the utilization of neural networks to approximate operators. Traditionally, the focus has been on single-operator learning (SOL). However, recent advances have rapidly expanded this to include the approximation of multiple operators using foundation models equipped with millions or billions of trainable parameters, leading to the research of multi-operator learning (MOL). In this paper, we present a novel distributed training approach aimed at enabling a single neural operator with significantly fewer parameters to effectively tackle multi-operator learning challenges, all without incurring additional average costs. Our method is applicable to various Chen-Chen-type neural operators, such as Deep Operator Neural Networks (DON). The core idea is to independently learn the output basis functions for each operator using its dedicated data, while simultaneously centralizing the learning of the input function encoding shared by all operators using the entire dataset. Through a systematic study of five numerical examples, we compare the accuracy and cost of training a single neural operator for each operator independently versus training a MOL model using our proposed method. Our results demonstrate enhanced efficiency and satisfactory accuracy. Moreover, our approach illustrates that some operators with limited data can be more effectively constructed with the aid of data from analogous operators through MOL learning. This highlights another MOL's potential to bolster operator learning.
- Abstract（参考訳）: 演算子学習の研究には、ニューラルネットワークを近似演算子に利用することが含まれる。
従来はシングルオペレータラーニング(SOL)に重点を置いてきた。
しかし、近年の進歩により、数百万から数十億のトレーニング可能なパラメータを備えた基礎モデルを用いて、複数の演算子の近似を含むように急速に拡張され、マルチ演算学習(MOL)の研究へと繋がった。
本稿では,より少ないパラメータを持つ1つのニューラル演算子に対して,新たな平均コストを伴わずに,マルチオペレータ学習の課題に効果的に取り組むための分散トレーニング手法を提案する。
本手法は,Deep Operator Neural Networks (DON) などのChen-Chen型ニューラルネットワークに適用可能である。
中心となる考え方は、各演算子の出力基底関数を専用のデータを使って独立に学習し、同時にデータセット全体を使用してすべての演算子が共有する入力関数の学習を集中させることである。
5つの数値例の体系的な研究を通じて、各演算子に対して1つのニューラル演算子を個別に訓練する精度とコストを、提案手法を用いてMOLモデルを訓練することと比較した。
その結果,効率が向上し,精度も良好であった。
さらに,本手法では,MOL学習を通じて類似演算子のデータを用いて,限られたデータを持つ演算子をより効率的に構築できることを示す。
これは、演算子学習を促進する別のMOLの可能性を強調します。
関連論文リスト
- Reinforcement Learning with Action Sequence for Data-Efficient Robot Learning [62.3886343725955]
本稿では,行動列上のQ値を出力する批判ネットワークを学習する新しいRLアルゴリズムを提案する。
提案アルゴリズムは,現在および将来の一連の行動の実行結果を学習するために値関数を明示的に訓練することにより,ノイズのある軌道から有用な値関数を学習することができる。
論文 参考訳（メタデータ） (2024-11-19T01:23:52Z) - DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning [6.635683993472882]
マルチオペレータ学習を実現するためのファインチューニング手法を提案する。
本手法は,事前学習における各種演算子からのデータを分散学習と組み合わせ,物理インフォームド手法によりゼロショット微調整が可能となる。
論文 参考訳（メタデータ） (2024-11-11T18:58:46Z) - LeMON: Learning to Learn Multi-Operator Networks [0.6554326244334868]
シングルオペレータ学習では、特定のオペレータを学ぶために、ディープニューラルネットワークをトレーニングする。
マルチオペレータ学習における最近の研究は、演算子埋め込み構造を使用して、複数の演算子のデータ上で単一のニューラルネットワークをトレーニングしている。
マルチオペレータ学習を用いてPDEを解くための事前学習および微調整戦略を提案する。
論文 参考訳（メタデータ） (2024-08-28T23:20:03Z) - Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。
我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。
局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
論文 参考訳（メタデータ） (2024-02-26T18:59:31Z) - Representation Equivalent Neural Operators: a Framework for Alias-free
Operator Learning [11.11883703395469]
この研究は、Representation equivalent Neural Operators (ReNO) フレームワークによるニューラル演算子に対する新たな取り組みを提供する。
中心となるのは演算子エイリアスの概念であり、これは神経演算子とその離散表現の不整合を測定する。
我々の研究結果は、異なる離散化やグリッドを扱う際にエイリアシングがエラーを発生させ、重要な連続構造が失われることについて詳述している。
論文 参考訳（メタデータ） (2023-05-31T14:45:34Z) - In-Context Operator Learning with Data Prompts for Differential Equation
Problems [12.61842281581773]
本稿では、新しいニューラルネットワークベースのアプローチ、すなわちIn-Context Operator Networks (ICON)を紹介する。
ICONは、トリガーされたデータから演算子を同時に学習し、推論段階で新しい質問に適用する。
数値計算の結果,多変量微分方程式問題に対する数発の演算子学習器としてのニューラルネットワークの機能を示す。
論文 参考訳（メタデータ） (2023-04-17T05:22:26Z) - MIONet: Learning multiple-input operators via tensor product [2.5426761219054312]
バナッハ空間の積上で定義された複数入力演算子に対するニューラルネットワークによる演算子の回帰について検討する。
我々の理論と低ランク近似に基づいて、我々は新しいニューラル演算子、MIONetを提案し、複数入力演算子を学習する。
論文 参考訳（メタデータ） (2022-02-12T20:37:04Z) - Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳（メタデータ） (2021-08-19T03:56:49Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2020-11-19T18:47:40Z) - Data-driven Koopman Operators for Model-based Shared Control of
Human-Machine Systems [66.65503164312705]
本稿では,データ駆動型共有制御アルゴリズムを提案する。
ユーザのインタラクションに関するダイナミクスと情報は、Koopman演算子を使用して観察から学習される。
モデルに基づく共有制御は、自然な学習やユーザのみの制御パラダイムと比較して、タスクとコントロールのメトリクスを著しく改善する。
論文 参考訳（メタデータ） (2020-06-12T14:14:07Z) - Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。
我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
論文 参考訳（メタデータ） (2020-04-24T14:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。