論文の概要: Can Physics Informed Neural Operators Self Improve?

• arxiv url: http://arxiv.org/abs/2311.13885v1
• Date: Thu, 23 Nov 2023 10:15:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 00:05:23.704644
• Title: Can Physics Informed Neural Operators Self Improve?
• Title（参考訳）: 物理インフォームドニューラルネットワークは自己改善できるか?
• Authors: Ritam Majumdar, Amey Varhade, Shirish Karande, Lovekesh Vig
• Abstract要約: 偏微分方程式系の高速解法学習における自己学習の活用(例えばニューラル演算子)について検討する。 この研究で、このパフォーマンスのギャップを埋めるために、自己学習が使えることを示します。 具体的には、FNOは、自己学習を通じて物理損失を専門に訓練すると、データと物理損失の両方で訓練されたFNOと比較して、Burgersが1.07x、Darcyが1.02xに近づきます。
• 参考スコア（独自算出の注目度）: 8.979310336973887
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Self-training techniques have shown remarkable value across many deep learning models and tasks. However, such techniques remain largely unexplored when considered in the context of learning fast solvers for systems of partial differential equations (Eg: Neural Operators). In this work, we explore the use of self-training for Fourier Neural Operators (FNO). Neural Operators emerged as a data driven technique, however, data from experiments or traditional solvers is not always readily available. Physics Informed Neural Operators (PINO) overcome this constraint by utilizing a physics loss for the training, however the accuracy of PINO trained without data does not match the performance obtained by training with data. In this work we show that self-training can be used to close this gap in performance. We examine canonical examples, namely the 1D-Burgers and 2D-Darcy PDEs, to showcase the efficacy of self-training. Specifically, FNOs, when trained exclusively with physics loss through self-training, approach 1.07x for Burgers and 1.02x for Darcy, compared to FNOs trained with both data and physics loss. Furthermore, we discover that pseudo-labels can be used for self-training without necessarily training to convergence in each iteration. A consequence of this is that we are able to discover self-training schedules that improve upon the baseline performance of PINO in terms of accuracy as well as time.
• Abstract（参考訳）: 自己学習技術は多くのディープラーニングモデルやタスクで顕著な価値を示している。 しかし、偏微分方程式系(Eg: Neural Operators)の高速解法学習の文脈で考えると、そのような手法はほとんど解明されていない。 本研究では,フーリエニューラル演算子(FNO)の自己学習の利用について検討する。 ニューラル演算子はデータ駆動技術として登場したが、実験や従来のソルバからのデータは、常に容易に利用できるとは限らない。 物理インフォームドニューラルオペレータ(PINO)は、トレーニングに物理損失を利用することで、この制約を克服するが、データ無しでトレーニングされたPINOの精度は、データによるトレーニングによって得られた性能と一致しない。 この研究で、このパフォーマンスのギャップを埋めるために自己学習が使えることを示す。 本研究では,1D-Burgers と 2D-Darcy PDE を用いて,自己学習の有効性を示す。 具体的には、FNOは、自己学習を通じて物理損失を専門に訓練すると、データと物理損失の両方で訓練されたFNOと比較して、Burgersが1.07x、Darcyが1.02xに近づきます。 さらに,各反復の収束を必ずしも訓練することなく,擬似ラベルを自己学習に利用できることを発見した。 その結果,PINOのベースライン性能を向上する自己学習スケジュールを,精度と時間の観点から発見できることがわかった。

関連論文リスト

• DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning [6.635683993472882]
  マルチオペレータ学習を実現するためのファインチューニング手法を提案する。 本手法は,事前学習における各種演算子からのデータを分散学習と組み合わせ,物理インフォームド手法によりゼロショット微調整が可能となる。
  論文  参考訳（メタデータ） (2024-11-11T18:58:46Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• Data-Efficient Operator Learning via Unsupervised Pretraining and In-Context Learning [45.78096783448304]
  本研究では,PDE演算子学習のための教師なし事前学習を設計する。 シミュレーションソリューションを使わずにラベルなしのPDEデータをマイニングし、物理に着想を得た再構成ベースのプロキシタスクでニューラルネットワークを事前訓練する。 提案手法は,データ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れる。
  論文  参考訳（メタデータ） (2024-02-24T06:27:33Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Spherical Fourier Neural Operators: Learning Stable Dynamics on the Sphere [53.63505583883769]
  球面幾何学の演算子を学習するための球面FNO(SFNO)を紹介する。 SFNOは、気候力学の機械学習に基づくシミュレーションに重要な意味を持つ。
  論文  参考訳（メタデータ） (2023-06-06T16:27:17Z)
• DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning [5.2319020651074215]
  ニューラル予測器(DCLP)のためのカリキュラム誘導型コントラスト学習フレームワークを提案する。 本手法は,新たなカリキュラムを設計し,ラベルのないトレーニングデータ分布の安定性を高めることで,対照的なタスクを単純化する。 我々は既存の予測器と比較してDCLPの精度と効率が優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2023-02-25T08:16:21Z)
• Physics informed WNO [0.0]
  パラメトリック偏微分方程式(PDE)系の解演算子をラベル付きトレーニングデータなしで学習するための物理インフォームドウェーブレット演算子(WNO)を提案する。 このフレームワークの有効性は、工学と科学の様々な分野に関連する4つの非線形ニューラルネットワークで検証され、実証されている。
  論文  参考訳（メタデータ） (2023-02-12T14:31:50Z)
• Certified machine learning: A posteriori error estimation for physics-informed neural networks [0.0]
  PINNは、より小さなトレーニングセットに対して堅牢であることが知られ、より優れた一般化問題を導出し、より高速にトレーニングすることができる。 純粋にデータ駆動型ニューラルネットワークと比較してPINNを使うことは、トレーニング性能に好都合であるだけでなく、近似されたソリューションの品質に関する重要な情報を抽出できることを示す。
  論文  参考訳（メタデータ） (2022-03-31T14:23:04Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Deep Reinforcement Learning Assisted Federated Learning Algorithm for Data Management of IIoT [82.33080550378068]
  産業用IoT(Industrial Internet of Things)の継続的な拡大により、IIoT機器は毎回大量のユーザデータを生成する。 IIoTの分野で、これらの時系列データを効率的かつ安全な方法で管理する方法は、依然として未解決の問題である。 本稿では,無線ネットワーク環境におけるIIoT機器データ管理におけるFL技術の適用について検討する。
  論文  参考訳（メタデータ） (2022-02-03T07:12:36Z)
• How does unlabeled data improve generalization in self-training? A one-hidden-layer theoretical analysis [93.37576644429578]
  この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。 トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。 また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
  論文  参考訳（メタデータ） (2022-01-21T02:16:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。