論文の概要: PhysSAE: Mechanistic Interpretability of PINNs with Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2609.07061v2
• Date: Sat, 12 Sep 2026 19:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:04.543503
• Title: PhysSAE: Mechanistic Interpretability of PINNs with Sparse Autoencoders
• Title（参考訳）: PhysSAE:スパースオートエンコーダを用いたPINNの機械的解釈可能性
• Abstract要約: PhysSAEは、PINNの垂直層アクティベーションにおいて、オーバーコンプリートスパースオートエンコーダを訓練する機械的解釈可能性フレームワークである。 PINNは,ポストホックを因果的に識別し,因果的に問うことのできる,疎結合で物理的に構造化された潜在表現を発達させることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physics-Informed Neural Networks (PINNs) embed PDE residuals into neural network training, but their internal representations remain opaque: it is unknown what physical features their hidden layers encode or whether those features have a localized causal role. We present PhysSAE, a mechanistic interpretability framework that trains overcomplete sparse autoencoders (SAEs) on PINN penultimate-layer activations and evaluates dictionary atoms through direct causal intervention in the original frozen hidden state: $h_{\mathrm{cf}} = h - αz_k d_k$, bypassing the SAE decoder entirely. Across six PDE families, with 3 PINN seeds and 3 SAE seeds each---we show that (i) Our discovered SAE atoms align with independently-defined physical observables (max Pearson $|r|=0.951$, always $\gg$ permutation null), (ii) the causal footprint of top-aligned atom ablation is 1.2--4.2$\times$ more spatially concentrated canonical than PCA or ICA interventions, and (iii) top-aligned atoms outperform matched random controls on causal localization for structured physical concepts (ESF$_{80}$ advantage 0.04-0.44). Two-atom bilateral representations improve concept regression R$^2$ by $ΔR^2\!=\!0.05\text{-}0.15$ over single atoms, while random pairs decrease it by up to 0.60. These results demonstrate that PINNs develop sparse, physically structured latent representations that can be identified and causally interrogated post-hoc, opening a path toward interpretability-aware scientific machine learning.
• Abstract（参考訳）: 物理情報ニューラルネットワーク(PINN)は、PDE残基をニューラルネットワークトレーニングに組み込むが、その内部表現は不透明である。 本稿では,PhysSAEについて述べる。PhysSAEは,過完全スパースオートエンコーダ(SAE)をPINNの垂直層アクティベートで訓練し,本来の凍結状態の直接因果的介入を通じて辞書原子を評価する機構である。 PINN種子3種とSAE種子3種を含む6種のPDEファミリーを対象とする。 i) SAE原子は独立に定義された物理観測値(max Pearson $|r|=0.951$, always $\gg$ permutation null)と一致している。 (II)トップアライメント原子アブレーションの因果フットプリントは、PCAやICAの介入よりも空間集中型カノニカルである1.2--4.2$\times$である。 3) トップアライメント原子は、構造化物理概念の因果局在に関するランダム制御よりも優れていた(ESF$_{80}$ advantage 0.04-0.44)。 2つの原子の両面表現は、概念回帰R$^2$ by $ΔR^2\! =\! 0.05\text{-}0.15$ 単一原子上のランダム対は 0.60 まで減少する。 これらの結果から,PINNは疎結合で物理的に構造化された潜在表現を発達させ,認識可能性を考慮した科学的機械学習への道を開くことが示唆された。

関連論文リスト

• A variational physics-informed graph neural network for heterogeneous solid mechanics [0.0]
  本研究は, 実験場ではなく, 離散化によってコンフォーメーションを導出する, 変分・ラベルなし物理インフォームドグラフニューラルネットワーク(PI-GNN)を提案する。
  論文  参考訳（メタデータ） (2026-09-10T02:02:32Z)
• Error Highways: Scaling Predictive Coding to Very Deep Networks [45.88028371034407]
  予測符号化ネットワーク(PCN)は、生物学的に証明可能な、局所学習の代替として、エラーのバックプロパゲーション(バックプロップ)を提供する PCNのスケーリングにおける中心的な障害は、学習信号がひび割れた境界から遠ざかるにつれて急速に減衰することである。 予測符号化(PC)に基づく自由エネルギー関数を,その神経構造を変化させることで拡張する手法であるハイウェイエラー伝搬(HEP)を提案する。
  論文  参考訳（メタデータ） (2026-06-22T01:12:29Z)
• Safety, Security, and Cognitive Risks in Neuro-Symbolic AI [0.0]
  ニューロシンボリックAI(NeSy)は、ニューラルネットワークとシンボリック推論をペアリングする。 NeSyは、ニューラルネットワーク、シンボリックナレッジベース、推論エンジン、エージェントオーケストレーション、データストアの5つのレイヤを攻撃している。
  論文  参考訳（メタデータ） (2026-06-15T19:11:55Z)
• Sparse Autoencoders Map Brain-LLM Alignment onto Cortical Semantic Topography [13.891522069967507]
  意味的特徴だけでピークエンコーディング性能の94%を回復することを示す。 また,SAEによって発見された特徴が,既知の皮質意味組織を再カプセル化することを示す。 結果は英語、中国語、フランス語で一般化される。
  論文  参考訳（メタデータ） (2026-05-21T21:00:24Z)
• Fundamental Limits of Neural Network Sparsification: Evidence from Catastrophic Interpretability Collapse [7.167095059974211]
  本研究では, 可変オートエンコーダ-スパースオートエンコーダアーキテクチャにおける重大容量制約下での機能生存について検討する。 本稿では,活動ニューロンを500から50以上の訓練エポックに段階的に減少させる適応的空間性スケジューリングフレームワークを提案する。 グローバルな表現の質は安定しているが、局所的な特徴解釈可能性は体系的に崩壊する。
  論文  参考訳（メタデータ） (2026-03-18T00:16:38Z)
• INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
  本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。 $mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。 大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
  論文  参考訳（メタデータ） (2025-11-16T20:14:28Z)
• Comprehensive Validation of Replica Symmetry Breaking via Quantum Annealing: From Ground States to Topological Collapse [0.0]
  我々はジョルジョ・パリシのシェリントン・カークパトリックスピンガラスの正確な解を4000スピンに拡張する。 レプリカ対称性の破れの出現と崩壊を調査する。 この包括的検証は、複素系における基本的な統計力学を探索するための量子的優位性を確立する。
  論文  参考訳（メタデータ） (2025-11-09T14:33:22Z)
• Extrapolation to infinite model space of no-core shell model calculations using machine learning [41.99844472131922]
  ニューラルネットワークのアンサンブルを用いて、ノーコアシェルモデル(NCSM)結果を光核の無限モデル空間に外挿する。 本稿では,異なるモデル空間におけるDaejeon16 NN相互作用を用いて得られたNCSM結果のニューラルネットワーク外挿について概説する。
  論文  参考訳（メタデータ） (2025-11-07T08:16:12Z)
• v-PuNNs: van der Put Neural Networks for Transparent Ultrametric Representation Learning [0.0]
  V-PuNN (van der Put Neural Networks) は,p進球の特性関数を$mathbbZ_p$で表した最初のアーキテクチャである。 透過的Ultrametric Representation Learning (TURL) の原則の下では、全ての重みはそれ自体が p-進数であり、正確な部分木意味論を与える。 したがって、V-PuNNは数論とディープラーニングを橋渡しし、階層データに対して正確で解釈可能で効率的なモデルを提供する。
  論文  参考訳（メタデータ） (2025-08-01T18:23:38Z)
• Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations [48.46721044282335]
  テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。 1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。 その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
  論文  参考訳（メタデータ） (2025-07-01T18:46:27Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Role of Locality and Weight Sharing in Image-Based Tasks: A Sample Complexity Separation between CNNs, LCNs, and FCNs [42.551773746803946]
  視覚タスクは局所性と翻訳不変性の特性によって特徴づけられる。 これらのタスクにおける畳み込みニューラルネットワーク(CNN)の優れた性能は、そのアーキテクチャに埋め込まれた局所性や重み付けの帰納的バイアスに起因する。 CNNにおけるこれらのバイアスの統計的利点を、局所連結ニューラルネットワーク(LCN)と完全連結ニューラルネットワーク(FCN)で定量化しようとする試みは、以下のカテゴリに分類される。
  論文  参考訳（メタデータ） (2024-03-23T03:57:28Z)
• Sample Complexity of Neural Policy Mirror Descent for Policy Optimization on Low-Dimensional Manifolds [75.51968172401394]
  深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。 NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。 NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
  論文  参考訳（メタデータ） (2023-09-25T07:31:22Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。