論文の概要: Physics-Informed Neural Network with Squeeze-Excitation-like Attention

• arxiv url: http://arxiv.org/abs/2606.19853v1
• Date: Thu, 18 Jun 2026 07:01:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.69114
• Title: Physics-Informed Neural Network with Squeeze-Excitation-like Attention
• Title（参考訳）: Squeeze-Excitation-like Attention を用いた物理インフォームニューラルネットワーク
• Authors: Yun-Fei Song, Long-Gang Pang, Fu-Peng Li, Jun-Jie Zhang,
• Abstract要約: 本稿では,Squeeze-Excitationのようなアテンション機構を物理インフォームドニューラルネットワークに組み込んだ新しいアーキテクチャであるSEA-PINNを紹介する。 20のベンチマーク問題のうち17では、SEA-PINNはほぼ無視可能なばらつきを示し、初期損失を著しく減少させた。
• 参考スコア（独自算出の注目度）: 2.8977569765108715
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce SEA-PINN, a novel architecture that incorporates a Squeeze-Excitation-like attention mechanism into physics-informed neural networks to dynamically recalibrate the importance of neurons across layers. A key feature of SEA-PINN is its highly stable initialization. On 17 out of 20 benchmark problems, SEA-PINN exhibit nearly negligible variance and significantly reduced initial loss, establishing a quasi-deterministic and favorable starting point for optimization. Notably, without employing Fourier feature embeddings or periodic activation functions, SEA-PINN attained competitive accuracy (83\% vs. 90\% improvement relative to FNN-PINN on the high-frequency case 7) as compared with TSA-PINN-a model specifically engineered for high-frequency problems via learnable frequencies in sinusoidal activations. Furthermore, integrating SEA-PINN into TSA-PINN boosted performance by 42.49\%. These results underscore SEA-PINN as a lightweight plug-in module that enhances nonlinear representation power, promotes more robust and efficient convergence, and strengthens the overall reliability of physics-informed learning.
• Abstract（参考訳）: 本稿では,Squeeze-Excitationのようなアテンション機構を物理インフォームドニューラルネットワークに組み込んだ新しいアーキテクチャであるSEA-PINNを紹介する。 SEA-PINNの重要な特徴は、非常に安定した初期化である。 20のベンチマーク問題のうち17では、SEA-PINNはほぼ無視可能なばらつきを示し、初期損失を著しく減少させ、準決定論的で好ましい最適化の出発点を確立した。 特に, フーリエ機能埋め込みや周期的アクティベーション機能を用いないSEA-PINNは, 正弦波アクティベーションにおける学習周波数による高周波問題に特化して設計されたTSA-PINNモデルと比較して, FNN-PINNと比較して競争精度(83.%対90.%)を得た。 さらに、SEA-PINNをTSA-PINNに統合することで、パフォーマンスが42.49\%向上した。 これらの結果は、非線形表現力を高め、より堅牢で効率的な収束を促進し、物理インフォームドラーニングの全体的な信頼性を高める軽量なプラグインモジュールとしてSEA-PINNを評価する。

関連論文リスト

• A Latency Coding Framework for Deep Spiking Neural Networks with Ultra-Low Latency [51.75891259753546]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率のよいニューラル処理に重要な可能性を持つ生物学的にインスパイアされたコンピューティングパラダイムを提供する。 Time-To-First-Spike (TTFS)コーディングは、ニューロンの最初のスパイクの正確なタイミングを通じて情報を符号化する。 TTFSモデルには効率的なトレーニング方法がなく、高い推論遅延と限られたパフォーマンスに悩まされている。 本稿では,バックプロパゲーション・スロー・タイム(BPTT)アルゴリズムを用いて,深層TTFS符号化SNNの効率的なトレーニングを可能にする包括的フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-24T13:52:03Z)
• LNN-PINN: A Unified Physics-Only Training Framework with Liquid Residual Blocks [1.6249267147413524]
  LNN-PINNは、液体残留ゲーティングアーキテクチャを組み込んだ物理インフォームドニューラルネットワークフレームワークである。 4つのベンチマーク問題の中で、LNN-PINNはRMSEとMAEを同一の訓練条件下で一貫して削減した。
  論文  参考訳（メタデータ） (2025-08-12T13:35:46Z)
• Complex Physics-Informed Neural Network [15.54119928149117]
  compleX-PINNは、学習可能なアクティベーション機能を備えた物理インフォームドニューラルネットワーク(PINN)アーキテクチャである。 その結果,コンプレックス-PINNは精度が大幅に向上し,精度も桁違いに向上することがわかった。
  論文  参考訳（メタデータ） (2025-02-07T13:36:42Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Efficiently Training Time-to-First-Spike Spiking Neural Networks from Scratch [39.05124192217359]
  スパイキングニューラルネットワーク(SNN)はエネルギー効率の良いニューロモルフィックハードウェアに適している。 Time-to-First-Spike(TTFS)コーディングは、ニューロン毎の1回のスパイクを使用し、極端に間隔とエネルギー効率を提供するが、スパース発射による不安定なトレーニングと低い精度に悩まされている。 本稿では,パラメータ正規化,トレーニング正規化,時間出力復号化,プール層再評価を取り入れたトレーニングフレームワークを提案する。 実験では、M上のTTFS SNNのトレーニングを安定化し、加速し、レイテンシを低減し、最先端の精度を達成する。
  論文  参考訳（メタデータ） (2024-10-31T04:14:47Z)
• Improved physics-informed neural network in mitigating gradient related failures [11.356695216531328]
  物理インフォームドニューラルネットワーク(PINN)は、高度なデータ駆動技術で基本的な物理原理を統合する。 PINNは勾配流の剛性に悩まされ、予測能力が制限される。 本稿では,勾配関連障害を軽減するために改良されたPINNを提案する。
  論文  参考訳（メタデータ） (2024-07-28T07:58:10Z)
• Adaptive Interface-PINNs (AdaI-PINNs): An Efficient Physics-informed Neural Networks Framework for Interface Problems [0.0]
  AdaI-PINN(Adaptive Interface-PINN)と呼ばれる,効率的な物理情報ニューラルネットワーク(PINN)フレームワークを提案する。 このフレームワークは、前身であるInterface PINNまたはI-PINNの強化版である。 AdaI-PINNでは、アクティベーション機能は、ニューラルネットワークの他のパラメータとともにトレーニングされる斜面でのみ異なる。
  論文  参考訳（メタデータ） (2024-06-07T04:22:32Z)
• sVAD: A Robust, Low-Power, and Light-Weight Voice Activity Detection with Spiking Neural Networks [51.516451451719654]
  スパイキングニューラルネットワーク(SNN)は生物学的に妥当で、電力効率が高いことが知られている。 本稿では sVAD と呼ばれる新しい SNN ベースの音声活動検出モデルを提案する。 SincNetと1D畳み込みによる効果的な聴覚特徴表現を提供し、アテンション機構による雑音の堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-09T02:55:44Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective [91.5105021619887]
  バッチ正規化(BN)は、現代のディープニューラルネットワーク(DNN)で広く使われている。 BNは、対向ロバスト性を犠牲にしてモデル精度を高めることが観察された。 BNが主にロバスト特徴(RF)と非ロバスト特徴(NRF)の学習を好んでいるかどうかは不明である。
  論文  参考訳（メタデータ） (2020-10-07T10:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。