論文の概要: Information Routing in Atomistic Foundation Models: How Task Alignment and Equivariance Shape Linear Disentanglement
- arxiv url: http://arxiv.org/abs/2603.03155v2
- Date: Mon, 09 Mar 2026 06:36:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-10 15:13:12.304878
- Title: Information Routing in Atomistic Foundation Models: How Task Alignment and Equivariance Shape Linear Disentanglement
- Title（参考訳）: 原子論的基礎モデルにおける情報ルーティング : タスクアライメントと等分散形状の線形交絡について
- Authors: Joshua Steier,
- Abstract要約: 本稿では,合成信号を線形に投影し,リッジプローブへの幾何的情報アクセス量を測定する合成プローブ分解(CPD)について紹介する。
モデルは、合成除去後にアクセス可能な幾何学的情報で6.6倍の差がある。
また, 非線形プローブは, 残留化表現に対して誤った導出結果をもたらし, 純合成対象に対して$R2 = 0.68$--0.95$を回収し, この設定に対して線形プローブを推奨することを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: What determines whether a molecular property prediction model organizes its representations so that geometric and compositional information can be cleanly separated? We introduce Compositional Probe Decomposition (CPD), which linearly projects out composition signal and measures how much geometric information remains accessible to a Ridge probe. We validate CPD with four independent checks, including a structural isomer benchmark where compositional projections score at chance while geometric residuals reach 94.6\% pairwise classification accuracy. Across ten models from five architectural families on QM9, we find a \emph{linear accessibility gradient}: models differ by $6.6\times$ in geometric information accessible after composition removal ($R^2_{\mathrm{geom}}$ from 0.081 to 0.533 for HOMO-LUMO gap). Three factors explain this gradient. Task alignment dominates: models trained on HOMO-LUMO gap ($R^2_{\mathrm{geom}}$ 0.44--0.53) outscore energy-trained models by $\sim$0.25 $R^2$ regardless of architecture. Within-architecture ablations on two independent architectures confirm this: PaiNN drops from 0.53 to 0.31 when retrained on energy, and MACE drops from 0.44 to 0.08. Data diversity partially compensates for misaligned objectives, with MACE pretrained on MPTraj (0.36) outperforming QM9-only energy models. Inside MACE's representations, information routes by symmetry type: $L{=}1$ (vector) channels preferentially encode dipole moment ($R^2 = 0.59$ vs.\ 0.38 in $L{=}0$), while $L{=}0$ (scalar) channels encode HOMO-LUMO gap ($R^2 = 0.76$ vs.\ 0.34 in $L{=}1$). This pattern is absent in ViSNet. We also show that nonlinear probes produce misleading results on residualized representations, recovering $R^2 = 0.68$--$0.95$ on a purely compositional target, and recommend linear probes for this setting.
- Abstract（参考訳）: 分子特性予測モデルがその表現を整理し、幾何学的・構成的情報をきれいに分離できるか?
本稿では,合成信号を線形に投影し,リッジプローブへの幾何的情報アクセス量を測定する合成プローブ分解(CPD)について紹介する。
CPDを4つの独立したチェックで検証し、例えば構造異性体ベンチマークでは、構成射影が偶然にスコアし、幾何残差が94.6\%のペアの分類精度に達する。
QM9 上の 5 つのアーキテクチャファミリから得られる 10 つのモデルのうち、emph{linear accessibility gradient} は以下のようになる:モデルは構成除去後にアクセス可能な幾何学的情報において 6.6 倍異なる(R^2_{\mathrm{geom}}$ 0.081 から 0.533 から HOMO-LUMO ギャップ)。
3つの要因がこの勾配を説明する。
タスクアライメントは、 HOMO-LUMOギャップ(R^2_{\mathrm{geom}}$ 0.44--0.53)で訓練されたモデルで、アーキテクチャに関係なく$\sim$0.25 $R^2$で出力される。
PaiNNはエネルギーで再訓練されたときに0.53から0.31に低下し、MACEは0.44から0.08に低下した。
MACEはMPTraj (0.36)で事前訓練され、QM9のみのエネルギーモデルを上回っている。
MACE の表現の中では、情報経路は対称型である:$L{=}1$ (vector) チャネルは、優先的に双極子モーメント (R^2 = 0.59$ vs) を符号化する。
一方、$L{=}0$(スカラー)チャネルはHOMO-LUMOギャップをエンコードする(R^2 = 0.76$ vs)。
034 in $L{=}1$)。
このパターンはViSNetでは欠落している。
また, 非線形プローブは, 残留化表現に対して, 純合成対象に対して$R^2 = 0.68$-0.95$を回収し, 線形プローブを推奨する。
関連論文リスト
- Bounds on Lorentz-violating parameters in magnetically confined 2D systems: A phenomenological approach [0.0]
本稿では、磁区2次元電子系を用いて最小のSME係数を$a_mu$および$b_mu$で制限する枠組みを提案する。
有効質量を持つ非相対論的(Schr"odinger--Pauli)極限で働くと、円筒ジオメトリーのラジアル問題を導出する。
論文 参考訳（メタデータ） (2025-10-28T11:11:59Z) - Learning single-index models via harmonic decomposition [21.065469907392643]
そこで, mathbbRd$ のラベル $y は 1次元の未知射影を通してのみ mathbbRd$ の入力 $boldsymbolx に依存する。
テンソル展開とオンラインSGDに基づく2種類の推定器を導入し、それぞれが最適なサンプル複雑性または最適なランタイムを達成する。
論文 参考訳（メタデータ） (2025-06-11T15:59:53Z) - The Spacetime of Diffusion Models: An Information Geometry Perspective [40.23096112113255]
決定論的確率フローを用いた標準的なプルバック手法であるComplementODEデコーダが根本的に欠陥があることが示される。
遅延時空$z=(x_t,t)$を導入し、すべてのノイズスケールにわたる分布の族を指数化する。
結果として得られた構造は、ジオデシックが最小限のノイズ列を追跡し、データ間の編集を飾る、原則付き拡散距離編集(Diffusion Distance Edit)を誘導する。
論文 参考訳（メタデータ） (2025-05-23T06:16:58Z) - Symmetry-Breaking Descent for Invariant Cost Functionals [0.0]
タスクコストの関数的$W : Hs(M) を mathbbR$ に還元する問題について検討する。
信号の対称性を破る変形はコストを低減できることを示す。
論文 参考訳（メタデータ） (2025-05-19T15:06:31Z) - Robustness of Nonlinear Representation Learning [60.15898117103069]
本研究では,教師なし表現学習の問題を,わずかに不特定な環境で研究する。
混合は線形変換と小さな誤差で識別可能であることを示す。
これらの結果は、実世界のデータに対する教師なし表現学習における識別可能性向上へのステップである。
論文 参考訳（メタデータ） (2025-03-19T15:57:03Z) - Learning Orthogonal Multi-Index Models: A Fine-Grained Information Exponent Analysis [54.57279006229212]
情報指数は、オンライン勾配降下のサンプルの複雑さを予測する上で重要な役割を担っている。
本研究では,2次項と高次項の両方を考慮することで,まず2次項を用いて関連する空間を学習できることを示す。
オンラインSGDの全体サンプルと複雑さは$tildeO(d PL-1 )$である。
論文 参考訳（メタデータ） (2024-10-13T00:14:08Z) - Implicit Hypersurface Approximation Capacity in Deep ReLU Networks [0.0]
本稿では,ReLUアクティベーションを用いたディープフィードフォワードニューラルネットワークの幾何近似理論を開発する。
幅$d+1$の深い完全連結ReLUネットワークは、そのゼロ輪郭として暗黙的に近似を構成することができることを示す。
論文 参考訳（メタデータ） (2024-07-04T11:34:42Z) - Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。
SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Minimax Optimal Regression over Sobolev Spaces via Laplacian Eigenmaps
on Neighborhood Graphs [25.597646488273558]
ラプラシアン固有写像(PCR-LE)を用いた主成分回帰の統計的性質について検討する。
PCR-LEは、近傍グラフラプラシアンの特定の固有ベクトルによって分散された部分空間に観測された応答のベクトルを投影することで機能する。
PCR-LEはソボレフ空間上のランダムな設計回帰に対して最小収束率を達成することを示す。
論文 参考訳（メタデータ） (2021-11-14T17:32:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。