論文の概要: Transfer Learning in Physics-Informed Neural Networks: Full Fine-Tuning, Lightweight Fine-Tuning, and Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2502.00782v1
• Date: Sun, 02 Feb 2025 12:40:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:58:09.870995
• Title: Transfer Learning in Physics-Informed Neural Networks: Full Fine-Tuning, Lightweight Fine-Tuning, and Low-Rank Adaptation
• Title（参考訳）: 物理インフォームニューラルネットワークにおける伝達学習:フルファインチューニング、軽量ファインチューニング、低ランク適応
• Authors: Yizheng Wang, Jinshuai Bai, Mohammad Sadegh Eshaghi, Cosmin Anitescu, Xiaoying Zhuang, Timon Rabczuk, Yinghua Liu,
• Abstract要約: 物理情報ニューラルネットワーク(PINN)の強大・エネルギー形式における伝達学習の一般化能力について検討する。 私たちが採用している転写学習手法には、フル微調整、軽量微調整、ローランド適応(LoRA)がある。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: AI for PDEs has garnered significant attention, particularly Physics-Informed Neural Networks (PINNs). However, PINNs are typically limited to solving specific problems, and any changes in problem conditions necessitate retraining. Therefore, we explore the generalization capability of transfer learning in the strong and energy form of PINNs across different boundary conditions, materials, and geometries. The transfer learning methods we employ include full finetuning, lightweight finetuning, and Low-Rank Adaptation (LoRA). The results demonstrate that full finetuning and LoRA can significantly improve convergence speed while providing a slight enhancement in accuracy.
• Abstract（参考訳）: PDEのためのAIは特に物理情報ニューラルネットワーク(PINN)に大きな注目を集めている。 しかし、PINNは特定の問題の解決に限られており、問題条件の変更は再訓練を必要とする。 そこで我々は, 異なる境界条件, 材料, ジオメトリをまたいで, PINNの強・エネルギー形式での伝達学習の一般化能力について検討する。 私たちが採用している転写学習手法には、フル微調整、軽量微調整、ローランド適応(LoRA)がある。 その結果, 完全微細化とLORAは精度をわずかに向上させつつ, 収束速度を著しく向上させることができることがわかった。

関連論文リスト

• Towards Accurate Binary Spiking Neural Networks: Learning with Adaptive Gradient Modulation Mechanism [14.425611637823511]
  バイナリスパイキングニューラルネットワーク(BSNN)は、SNNのイベント駆動パラダイムを継承すると同時に、バイナライゼーション技術によるストレージ負荷の低減も実現している。 これらの異なるアドバンテージは、BSNNの軽量でエネルギー効率のよい特性を与え、リソース制約のエッジデバイスへのデプロイに最適である。 しかしながら、二成分のシナプス重みと非微分スパイク関数のため、BSNNを効果的に訓練することは未解決の問題である。
  論文  参考訳（メタデータ） (2025-02-20T07:59:08Z)
• Physics-Informed Neuro-Evolution (PINE): A Survey and Prospects [23.92936460045325]
  物理インフォームドニューラルネットワーク(PINN)は、数学的に表現可能な自然法則をそれらのトレーニング損失関数に注入する。 PINNは、データリミットにおける純粋にデータ駆動モデルよりも利点がある。 本稿では,モデル最適化と一般化の観点から初めてPINNについて検討する。
  論文  参考訳（メタデータ） (2025-01-11T15:45:11Z)
• Improved physics-informed neural network in mitigating gradient related failures [11.356695216531328]
  物理インフォームドニューラルネットワーク(PINN)は、高度なデータ駆動技術で基本的な物理原理を統合する。 PINNは勾配流の剛性に悩まされ、予測能力が制限される。 本稿では,勾配関連障害を軽減するために改良されたPINNを提案する。
  論文  参考訳（メタデータ） (2024-07-28T07:58:10Z)
• Residual resampling-based physics-informed neural network for neutron diffusion equations [7.105073499157097]
  中性子拡散方程式は原子炉の解析において重要な役割を果たす。 従来のPINNアプローチでは、完全に接続されたネットワーク(FCN)アーキテクチャを利用することが多い。 R2-PINNは、現在の方法に固有の制限を効果的に克服し、中性子拡散方程式のより正確で堅牢な解を提供する。
  論文  参考訳（メタデータ） (2024-06-23T13:49:31Z)
• A Sequential Meta-Transfer (SMT) Learning to Combat Complexities of Physics-Informed Neural Networks: Application to Composites Autoclave Processing [1.6317061277457001]
  PINNは非線形偏微分方程式の解法として人気がある。 PINNは、与えられたPDEシステムの特定の実現を近似するように設計されている。 新しいシステム構成に効率的に適応するために必要な一般化性は欠如している。
  論文  参考訳（メタデータ） (2023-08-12T02:46:54Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。