論文の概要: Physics-Informed Neural Networks with Fourier Features and Attention-Driven Decoding

• arxiv url: http://arxiv.org/abs/2510.05385v1
• Date: Mon, 06 Oct 2025 21:23:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:07.991542
• Title: Physics-Informed Neural Networks with Fourier Features and Attention-Driven Decoding
• Title（参考訳）: フーリエ特徴を持つ物理インフォームニューラルネットワークとアテンション駆動デコーディング
• Authors: Rohan Arni, Carlos Blanco,
• Abstract要約: 本稿では、2つの重要な問題に対処するPINformerのエンコーダであるSpectral PINformer(S-Pformer)を紹介する。 自己アテンションのみに依存する場合,エンコーダは相関を捉える必要がなく,パラメータ数が減少することがわかった。 我々のモデルは、すべてのベンチマークでエンコーダ・コーダのPINformerアーキテクチャよりも優れています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-Informed Neural Networks (PINNs) are a useful framework for approximating partial differential equation solutions using deep learning methods. In this paper, we propose a principled redesign of the PINNsformer, a Transformer-based PINN architecture. We present the Spectral PINNSformer (S-Pformer), a refinement of encoder-decoder PINNSformers that addresses two key issues; 1. the redundancy (i.e. increased parameter count) of the encoder, and 2. the mitigation of spectral bias. We find that the encoder is unnecessary for capturing spatiotemporal correlations when relying solely on self-attention, thereby reducing parameter count. Further, we integrate Fourier feature embeddings to explicitly mitigate spectral bias, enabling adaptive encoding of multiscale behaviors in the frequency domain. Our model outperforms encoder-decoder PINNSformer architectures across all benchmarks, achieving or outperforming MLP performance while reducing parameter count significantly.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、深層学習法を用いて偏微分方程式解を近似するための有用なフレームワークである。 本稿では,TransformerベースのPINNアーキテクチャであるPINNsformerの再設計を提案する。 本稿では、2つの重要な問題に対処するエンコーダデコーダPINNSformerの改良であるSpectral PINNSformer(S-Pformer)について述べる。 1.エンコーダの冗長性(すなわちパラメータ数の増加)及び 2.スペクトルバイアスの緩和 このエンコーダは,自己注意のみに依存する場合の時空間相関を捉える必要がなく,パラメータ数を減少させる。 さらに、フーリエ特徴埋め込みを統合し、スペクトルバイアスを明示的に緩和し、周波数領域におけるマルチスケール動作の適応符号化を可能にする。 本モデルでは,全てのベンチマークにおいてエンコーダ/デコーダPINNSformerアーキテクチャの性能を向上し,パラメータ数を大幅に削減しつつ,MPP性能を向上または向上する。

関連論文リスト

• Neural Decoders for Universal Quantum Algorithms [0.43553942673960666]
  モジュール型アテンションベースニューラルデコーダを導入し,ゲートによる相関関係を学習する。 我々のデコーダは、最もエラーに近いデコーダに匹敵する高速な推論と論理的エラー率を達成する。 これらの結果は、量子コンピューティングの実用的で汎用的で高性能なツールとして、ニューラルデコーダを確立している。
  論文  参考訳（メタデータ） (2025-09-14T17:51:46Z)
• On the Design and Performance of Machine Learning Based Error Correcting Decoders [3.8289109929360245]
  まず, 単一ラベル型ニューラルネットワーク (SLNN) とマルチラベル型ニューラルネットワーク (MLNN) のデコーダについて検討した。 次に、エラー訂正符号変換器(ECCT)とクロスアテンションメッセージパッシング変換器(CrossMPT)という、2つのトランスフォーマーベースのデコーダに注目します。
  論文  参考訳（メタデータ） (2024-10-21T11:23:23Z)
• Spectral Informed Neural Network: An Efficient and Low-Memory PINN [3.8534287291074354]
  本稿では、微分演算子を乗法で置き換えるスペクトルベースニューラルネットワークを提案する。 PINNと比較して、我々のアプローチはメモリの削減とトレーニング時間の短縮を必要とする。 我々は、スペクトル情報を用いてネットワークを訓練する2つの戦略を提供する。
  論文  参考訳（メタデータ） (2024-08-29T10:21:00Z)
• Parametric Encoding with Attention and Convolution Mitigate Spectral Bias of Neural Partial Differential Equation Solvers [0.0]
  PGCAN(Parametric Grid Convolutional Attention Networks)は偏微分方程式(PDE)の解法である。 PGCANは、DNNデコーダを介して出力に接続されたグリッドベースのエンコーダで入力空間をパラメータ化する。 我々のエンコーダは、局所的な学習能力を提供し、畳み込みレイヤを使用して、境界からドメインの内部への情報の伝播速度を過度に調整し改善する。
  論文  参考訳（メタデータ） (2024-03-22T23:56:40Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• Variational Autoencoders: A Harmonic Perspective [79.49579654743341]
  本研究では,高調波解析の観点から変分オートエンコーダ(VAE)について検討する。 VAEのエンコーダ分散は、VAEエンコーダとデコーダニューラルネットワークによってパラメータ化された関数の周波数内容を制御する。
  論文  参考訳（メタデータ） (2021-05-31T10:39:25Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。