論文の概要: Enhancing Physics-Informed Neural Networks Through Feature Engineering
- arxiv url: http://arxiv.org/abs/2502.07209v1
- Date: Tue, 11 Feb 2025 03:07:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-12 14:07:04.070562
- Title: Enhancing Physics-Informed Neural Networks Through Feature Engineering
- Title（参考訳）: 特徴工学による物理インフォームドニューラルネットワークの強化
- Authors: Shaghayegh Fazliani, Zachary Frangella, Madeleine Udell,
- Abstract要約: 本稿では,単層アダプティブ・フィーチャー・エンジニアリング・ネットワークであるSAFE-NETを紹介する。
基準となる特徴工学手法よりもはるかに少ないパラメータで、マグニチュードオーダーの低いエラーを実現する。
数値計算の結果,SAFE-NETはより高速に収束し,より深いネットワークや複雑なネットワークよりも優れていた。
- 参考スコア（独自算出の注目度）: 18.055120576191204
- License:
- Abstract: Physics-Informed Neural Networks (PINNs) seek to solve partial differential equations (PDEs) with deep learning. Mainstream approaches that deploy fully-connected multi-layer deep learning architectures require prolonged training to achieve even moderate accuracy, while recent work on feature engineering allows higher accuracy and faster convergence. This paper introduces SAFE-NET, a Single-layered Adaptive Feature Engineering NETwork that achieves orders-of-magnitude lower errors with far fewer parameters than baseline feature engineering methods. SAFE-NET returns to basic ideas in machine learning, using Fourier features, a simplified single hidden layer network architecture, and an effective optimizer that improves the conditioning of the PINN optimization problem. Numerical results show that SAFE-NET converges faster and typically outperforms deeper networks and more complex architectures. It consistently uses fewer parameters -- on average, 65% fewer than the competing feature engineering methods -- while achieving comparable accuracy in less than 30% of the training epochs. Moreover, each SAFE-NET epoch is 95% faster than those of competing feature engineering approaches. These findings challenge the prevailing belief that modern PINNs effectively learn features in these scientific applications and highlight the efficiency gains possible through feature engineering.
- Abstract（参考訳）: 物理情報ニューラルネットワーク(PINN)は、ディープラーニングを用いて偏微分方程式(PDE)を解く。
完全に接続された多層ディープラーニングアーキテクチャをデプロイするメインストリームアプローチでは、適度な精度を達成するために、長いトレーニングが必要です。
本稿では,単一層型適応機能工学ネットワークであるSAFE-NETについて紹介する。
SAFE-NETは、Fourier機能、単純化された単一の隠蔽層ネットワークアーキテクチャ、PINN最適化問題の条件付けを改善する効果的なオプティマイザなど、機械学習の基本的なアイデアに回帰する。
SAFE-NETはより高速に収束し、より深いネットワークやより複雑なアーキテクチャよりも優れています。
一貫してパラメータを減らし、平均すると競合する機能エンジニアリングメソッドよりも65%少なくなりますが、トレーニングのエポックの30%未満で同等の精度を実現しています。
さらに、それぞれのSAFE-NETエポックは、競合する機能エンジニアリングアプローチよりも95%高速である。
これらの知見は、現代のPINNがこれらの科学的応用の特徴を効果的に学習し、特徴工学によって可能となる効率向上を強調するという一般的な信念に挑戦するものである。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Stable Weight Updating: A Key to Reliable PDE Solutions Using Deep Learning [0.0]
本稿では,物理インフォームドニューラルネットワーク(PINN)の安定性と精度の向上を目的とした,新しい残差ベースアーキテクチャを提案する。
このアーキテクチャは、残りの接続を組み込むことで従来のニューラルネットワークを強化し、よりスムーズなウェイト更新を可能にし、バックプロパゲーション効率を向上させる。
特にSquared Residual Networkは、従来のニューラルネットワークと比較して安定性と精度の向上を実現し、堅牢なパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-07-10T05:20:43Z) - Unveiling the optimization process of Physics Informed Neural Networks: How accurate and competitive can PINNs be? [0.0]
本研究では、物理インフォームドニューラルネットワークの潜在的な精度について、従来の類似した研究や従来の数値手法と対比して検討する。
改良された最適化アルゴリズムを選択することで、結果の精度が大幅に向上することがわかった。
損失関数の簡単な修正は精度を向上し、拡張のための追加の道を提供する。
論文 参考訳（メタデータ） (2024-05-07T11:50:25Z) - Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。
この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
論文 参考訳（メタデータ） (2022-12-25T15:40:05Z) - Efficient Neural Net Approaches in Metal Casting Defect Detection [0.0]
本研究は,精度と推定時間の観点から効率の良い軽量アーキテクチャを提案する。
以上の結果から,深度的に分離可能な畳み込みを持つ590Kパラメータのカスタムモデルが事前学習アーキテクチャよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-08-08T13:54:36Z) - Auto-PINN: Understanding and Optimizing Physics-Informed Neural
Architecture [77.59766598165551]
物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。
本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。
標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
論文 参考訳（メタデータ） (2022-05-27T03:24:31Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - From DNNs to GANs: Review of efficient hardware architectures for deep
learning [0.0]
ニューラルネットワークとディープラーニングが現在の研究パラダイムに影響を与え始めている。
DSPプロセッサは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成的敵ネットワーク操作を実行することができない。
異なるアルゴリズムは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成対向ネットワークにおける高速なパフォーマンスに適合するDSPプロセッサを設計するために適合している。
論文 参考訳（メタデータ） (2021-06-06T13:23:06Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳（メタデータ） (2021-02-16T11:45:35Z) - ALF: Autoencoder-based Low-rank Filter-sharing for Efficient
Convolutional Neural Networks [63.91384986073851]
オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。
ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
論文 参考訳（メタデータ） (2020-07-27T09:01:22Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。