論文の概要: Information Routing in Atomistic Foundation Models: How Equivariance Creates Linearly Disentangled Representations
- arxiv url: http://arxiv.org/abs/2603.03155v1
- Date: Tue, 03 Mar 2026 16:52:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-04 21:38:10.883215
- Title: Information Routing in Atomistic Foundation Models: How Equivariance Creates Linearly Disentangled Representations
- Title（参考訳）: 原子論的基礎モデルにおける情報ルーティング : 等分散が線形不整合表現をいかに生み出すか
- Authors: Joshua Steier,
- Abstract要約: QRプロジェクションを用いて学習した表現から合成信号を線形に除去する合成投影分解(CPD)を導入する。
QM9分子および材料プロジェクト結晶上の5つの構造系から得られた8つのモデルにまたがって、対角勾配:積同変(MACE)を見いだす。
この結果から, 立方体上の木勾配プローブは系統的に膨らみ, 純組成目標に対して$R2 = 0.68$--0.95$を回収し, 線形プローブを主指標として推奨することを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: What do atomistic foundation models encode in their intermediate representations, and how is that information organized? We introduce Composition Projection Decomposition (CPD), which uses QR projection to linearly remove composition signal from learned representations and probes the geometric residual. Across eight models from five architectural families on QM9 molecules and Materials Project crystals, we find a disentanglement gradient: tensor product equivariant architectures (MACE) produce representations where geometry is almost fully linearly accessible after composition removal ($R^2_{\text{geom}} = 0.782$ for HOMO-LUMO gap), while handcrafted descriptors (ANI-2x) entangle the same information nonlinearly ($R^2_{\text{geom}} = -0.792$ under Ridge; $R^2 = +0.784$ under MLP). MACE routes target-specific signal through irreducible representation channels -- dipole to $L = 1$, HOMO-LUMO gap to $L = 0$ -- a pattern not observed in ViSNet's vector-scalar architecture under the same probe. We show that gradient boosted tree probes on projected residuals are systematically inflated, recovering $R^2 = 0.68$--$0.95$ on a purely compositional target, and recommend linear probes as the primary metric. Linearly disentangled representations are more sample-efficient under linear probing, suggesting a practical advantage for equivariant architectures beyond raw prediction accuracy.
- Abstract（参考訳）: 原子論的基礎モデルは中間表現に何をエンコードし、その情報はどのように組織化されているのか?
QRプロジェクションを用いて学習した表現から合成信号を線形に除去し、幾何学的残差を探索する合成射影分解(CPD)を導入する。
テンソル積同変アーキテクチャ (MACE) は、合成除去後の幾何がほぼ直線的にアクセス可能であるような表現(R^2_{\text{geom}} = 0.782$ for HOMO-LUMO gap)を生成する(R^2_{\text{geom}} = 0.782$ for HOMO-LUMO gap)一方、手作り記述子 (ANI-2x) は同じ情報を非線形に(R^2_{\text{geom}} = -0.792$ under Ridge; $R^2 = +0.784$ under MLP)。
MACEはターゲット固有の信号を-$L = 1$, HOMO-LUMOギャップを-$L = 0$にダイポールする。
また, 線形プローブを主指標として, R^2 = 0.68$-$0.95$の線形プローブを設計した。
線形不整合表現は線形探索においてよりサンプリング効率が良く、生の予測精度を超えた同変アーキテクチャの実用的優位性を示唆している。
関連論文リスト
- Bounds on Lorentz-violating parameters in magnetically confined 2D systems: A phenomenological approach [0.0]
本稿では、磁区2次元電子系を用いて最小のSME係数を$a_mu$および$b_mu$で制限する枠組みを提案する。
有効質量を持つ非相対論的(Schr"odinger--Pauli)極限で働くと、円筒ジオメトリーのラジアル問題を導出する。
論文 参考訳（メタデータ） (2025-10-28T11:11:59Z) - Learning single-index models via harmonic decomposition [21.065469907392643]
そこで, mathbbRd$ のラベル $y は 1次元の未知射影を通してのみ mathbbRd$ の入力 $boldsymbolx に依存する。
テンソル展開とオンラインSGDに基づく2種類の推定器を導入し、それぞれが最適なサンプル複雑性または最適なランタイムを達成する。
論文 参考訳（メタデータ） (2025-06-11T15:59:53Z) - The Spacetime of Diffusion Models: An Information Geometry Perspective [40.23096112113255]
決定論的確率フローを用いた標準的なプルバック手法であるComplementODEデコーダが根本的に欠陥があることが示される。
遅延時空$z=(x_t,t)$を導入し、すべてのノイズスケールにわたる分布の族を指数化する。
結果として得られた構造は、ジオデシックが最小限のノイズ列を追跡し、データ間の編集を飾る、原則付き拡散距離編集(Diffusion Distance Edit)を誘導する。
論文 参考訳（メタデータ） (2025-05-23T06:16:58Z) - Symmetry-Breaking Descent for Invariant Cost Functionals [0.0]
タスクコストの関数的$W : Hs(M) を mathbbR$ に還元する問題について検討する。
信号の対称性を破る変形はコストを低減できることを示す。
論文 参考訳（メタデータ） (2025-05-19T15:06:31Z) - Robustness of Nonlinear Representation Learning [60.15898117103069]
本研究では,教師なし表現学習の問題を,わずかに不特定な環境で研究する。
混合は線形変換と小さな誤差で識別可能であることを示す。
これらの結果は、実世界のデータに対する教師なし表現学習における識別可能性向上へのステップである。
論文 参考訳（メタデータ） (2025-03-19T15:57:03Z) - Learning Orthogonal Multi-Index Models: A Fine-Grained Information Exponent Analysis [54.57279006229212]
情報指数は、オンライン勾配降下のサンプルの複雑さを予測する上で重要な役割を担っている。
本研究では,2次項と高次項の両方を考慮することで,まず2次項を用いて関連する空間を学習できることを示す。
オンラインSGDの全体サンプルと複雑さは$tildeO(d PL-1 )$である。
論文 参考訳（メタデータ） (2024-10-13T00:14:08Z) - Implicit Hypersurface Approximation Capacity in Deep ReLU Networks [0.0]
本稿では,ReLUアクティベーションを用いたディープフィードフォワードニューラルネットワークの幾何近似理論を開発する。
幅$d+1$の深い完全連結ReLUネットワークは、そのゼロ輪郭として暗黙的に近似を構成することができることを示す。
論文 参考訳（メタデータ） (2024-07-04T11:34:42Z) - Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。
SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Minimax Optimal Regression over Sobolev Spaces via Laplacian Eigenmaps
on Neighborhood Graphs [25.597646488273558]
ラプラシアン固有写像(PCR-LE)を用いた主成分回帰の統計的性質について検討する。
PCR-LEは、近傍グラフラプラシアンの特定の固有ベクトルによって分散された部分空間に観測された応答のベクトルを投影することで機能する。
PCR-LEはソボレフ空間上のランダムな設計回帰に対して最小収束率を達成することを示す。
論文 参考訳（メタデータ） (2021-11-14T17:32:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。