論文の概要: REAct: Rational Exponential Activation for Better Learning and Generalization in PINNs

• arxiv url: http://arxiv.org/abs/2503.02267v1
• Date: Tue, 04 Mar 2025 04:28:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:22:40.295205
• Title: REAct: Rational Exponential Activation for Better Learning and Generalization in PINNs
• Title（参考訳）: PINNにおける学習と一般化のための合理的指数活性化
• Authors: Sourav Mishra, Shreya Hallikeri, Suresh Sundaram,
• Abstract要約: 本稿では,4つの学習可能な形状パラメータからなるタンの一般化形式であるRational Exponential Activation(REAct)を紹介する。 実験により、REActは多くの標準およびベンチマークのアクティベーションより優れており、熱問題ではMSEがタンよりも3桁も低いことが示されている。 また、関数近似のタスクを最適化し、逆問題におけるノイズの除去を改善し、様々なノイズレベルに対してより正確なパラメータ推定を行う。
• 参考スコア（独自算出の注目度）: 2.763071287037362
• License:
• Abstract: Physics-Informed Neural Networks (PINNs) offer a promising approach to simulating physical systems. Still, their application is limited by optimization challenges, mainly due to the lack of activation functions that generalize well across several physical systems. Existing activation functions often lack such flexibility and generalization power. To address this issue, we introduce Rational Exponential Activation (REAct), a generalized form of tanh consisting of four learnable shape parameters. Experiments show that REAct outperforms many standard and benchmark activations, achieving an MSE three orders of magnitude lower than tanh on heat problems and generalizing well to finer grids and points beyond the training domain. It also excels at function approximation tasks and improves noise rejection in inverse problems, leading to more accurate parameter estimates across varying noise levels.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、物理システムをシミュレートするための有望なアプローチを提供する。 それでも、それらの応用は最適化の課題によって制限されており、主にいくつかの物理系でよく一般化されるアクティベーション機能が欠如しているためである。 既存の活性化関数は、しばしばそのような柔軟性と一般化力に欠ける。 この問題に対処するために,4つの学習可能な形状パラメータからなるタンの一般化形式であるRational Exponential Activation (REAct)を導入する。 実験により、REActは多くの標準およびベンチマークのアクティベーションより優れており、熱問題においてMSEがタンよりも3桁も低い精度で達成され、訓練領域を超えた細い格子や点に最適化されていることが示されている。 また、関数近似のタスクを最適化し、逆問題におけるノイズの除去を改善し、様々なノイズレベルに対してより正確なパラメータ推定を行う。

関連論文リスト

• Revisiting the Equivalence of Bayesian Neural Networks and Gaussian Processes: On the Importance of Learning Activations [1.0468715529145969]
  トレーニング可能なアクティベーションは、広範囲なBNNに対するGP前の効果的なマッピングに不可欠であることを示す。 また、設計によるグローバルな定常性を確保するためのトレーニング可能な周期的アクティベーションも導入する。
  論文  参考訳（メタデータ） (2024-10-21T08:42:10Z)
• SimBa: Simplicity Bias for Scaling Up Parameters in Deep Reinforcement Learning [49.83621156017321]
  SimBaは、単純さのバイアスを注入することによって、深いRLでパラメータをスケールアップするように設計されたアーキテクチャである。 SimBaでパラメータをスケールアップすることで、オフポリシー、オンポリシー、アン教師なしメソッドを含む様々なディープRLアルゴリズムのサンプル効率が一貫して改善される。
  論文  参考訳（メタデータ） (2024-10-13T07:20:53Z)
• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• H-SIREN: Improving implicit neural representations with hyperbolic periodic functions [11.484248655945752]
  入射神経表現(INR)は、コンピュータビジョンタスクから偏微分方程式の解法による物理シミュレーションまで、様々な用途で最近採用されている。 我々はH-SIRENを様々なコンピュータビジョンと流体流問題で実証し、いくつかの最先端INRの性能を上回った。
  論文  参考訳（メタデータ） (2024-10-07T03:13:19Z)
• A Method on Searching Better Activation Functions [15.180864683908878]
  深層ニューラルネットワークにおける静的活性化関数を設計するためのエントロピーに基づくアクティベーション関数最適化(EAFO)手法を提案する。 我々は、CRRELU(Correction Regularized ReLU)として知られるReLUから新しいアクティベーション関数を導出する。
  論文  参考訳（メタデータ） (2024-05-19T03:48:05Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gradient-Enhanced Physics-Informed Neural Networks for Power Systems Operational Support [36.96271320953622]
  本稿では,電力系統の動的挙動をリアルタイムに近似する機械学習手法を提案する。 提案するフレームワークは、勾配強化された物理インフォームドニューラルネットワーク(gPINN)に基づいて、電力システムを管理する基礎となる物理法則を符号化する。
  論文  参考訳（メタデータ） (2022-06-21T17:56:55Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Soft-Root-Sign Activation Function [21.716884634290516]
  SRS(Soft-Root-Sign)は滑らかで、非単調で有界である。 ReLUとは対照的に、SRSは独立したトレーニング可能なパラメータのペアによって出力を適応的に調整することができる。 我々のSRSはReLUや他の最先端の非線形性と一致または超えます。
  論文  参考訳（メタデータ） (2020-03-01T18:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。