論文の概要: Measuring trainable degrees of freedom in materials graph neural networks: a random-subspace intrinsic dimension analysis
- arxiv url: http://arxiv.org/abs/2609.36084v1
- Date: Mon, 28 Sep 2026 18:29:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.940303
- Title: Measuring trainable degrees of freedom in materials graph neural networks: a random-subspace intrinsic dimension analysis
- Title(参考訳): 物質グラフニューラルネットワークにおけるトレーニング可能な自由度の測定--ランダム・サブスペース内在次元解析
- Abstract要約: 最終的な予測精度は、物質優位性予測におけるグラフニューラルネットワーク(GNN)の比較の標準基盤である。
本稿では,GNN学習教材の相補的特徴として,学習可能度依存を導入する。
CGCNN, ALIGNN, DimeNet++ をランダムなパラメータ部分空間で訓練する。
- 参考スコア(独自算出の注目度): 0.12277343096128711
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Final predictive accuracy is the standard basis for comparing graph neural networks (GNNs) in materials-property prediction, but it does not show how strongly performance depends on access to trainable parameter-space directions. Here, we introduce trainable-degree dependence as a complementary characterization of materials GNN learning. Using random-subspace intrinsic-dimension analysis, we train CGCNN, ALIGNN, and DimeNet++ in randomly oriented parameter subspaces across six prediction tasks and measure how performance recovers as independent trainable degrees of freedom are restored. The resulting recovery curves separate endpoint accuracy from the trainable-dimensional demand required to recover it. They reveal distinctions that final errors alone miss: metallic classification and log-bulk-modulus regression recover near-reference performance from small fractional subspaces, formation-energy and band-gap prediction show stronger architecture dependence, and phonon prediction is most sensitive to dimensional restriction. Dataset-size sweeps show that band-gap models require larger fractional subspaces as training data grows, whereas formation-energy and bulk-modulus responses are more stable. A width sweep shows that fractional thresholds can remain stable while absolute threshold dimensions increase with model size. Random-subspace analysis therefore provides a targeted stress test for how materials GNNs use their optimization space.
- Abstract(参考訳): 最終的な予測精度は、物質優位性予測におけるグラフニューラルネットワーク(GNN)の比較の標準基盤であるが、トレーニング可能なパラメータ空間方向へのアクセスによるパフォーマンスの強い影響は示されていない。
本稿では,GNN学習教材の相補的特徴として,学習可能度依存を導入する。
CGCNN, ALIGNN, DimeNet++を6つの予測タスクにまたがってランダムなパラメータサブスペースでトレーニングし, 独立したトレーニング可能な自由度としてパフォーマンスの回復を計測する。
得られた回復曲線は、その回復に必要な訓練可能な次元要求とエンドポイントの精度を区別する。
金属の分類と対数バルク率の回帰は、小さな分数部分空間からほぼ参照性能を回復し、形成エネルギーとバンドギャップ予測はより強いアーキテクチャ依存を示し、フォノン予測は次元制限に最も敏感である。
データセットサイズのスイープは、トレーニングデータの増加に伴ってバンドギャップモデルがより大きな分数部分空間を必要とすることを示しているが、生成エネルギーとバルク率の応答はより安定である。
分割しきい値が安定でありながら、絶対しきい値次元はモデルサイズとともに増加することを示す。
したがって、ランダム・サブスペース解析は、材料GNNが最適化空間をどのように利用するかを目標とするストレステストを提供する。
関連論文リスト
- Transolver-$σ$: Joint Spectral-Physical Subspace Modeling for Neural PDE Solving [53.58729034895666]
Transolver-$は、結合スペクトル-物理部分空間モデリングに基づくニューラルPDEソルバである。
平均的な相対誤差を33.4%減らし、各基準に対して最強の基準線を上回り、最先端を達成している。
論文 参考訳(メタデータ) (2026-09-29T11:24:19Z) - Predicting When Random Low-Dimensional Reparameterizations Train Neural Networks [3.980892205755342]
本稿では、曲率スペクトルと基準解の変位プロファイルの両方からランダムスライス残差を予測できる配向分解2次マスター式を提案する。
次にRandom Mapping Networks (RaMaN)を導入し, 予測潜在次元を, 構造化アダマールあるいはシード再生ガウス写像を用いてインスタンス化する。
RaMaNは、測定された遷移位置を追尾し、変位方向が重要となるとき、向きに依存しない近似を上回ります。
論文 参考訳(メタデータ) (2026-08-12T21:09:54Z) - Physics-Guided Dual-Stream Heterogeneous Graph Neural Network for Predicting Full-Field Structural Response of Stiffened Panels [0.0]
大規模で複雑な構造の反復的な設計と最適化には、応力、変位、その他の分野の高速かつ正確な予測が必要である。
既存のニューラルネットワークは、様々なトポロジや複雑な境界条件に悩まされることが多い。
本研究では,薄肉構造物のフルフィールド応力と変位予測のための新しいDualStream Heterogeneous Graph Neural Network (DS-HGNN)を提案する。
論文 参考訳(メタデータ) (2026-06-18T20:12:18Z) - Learning in Low-Dimensional Subspaces: Orthogonal Bottlenecks for Reinforcement Learning [47.218458651895766]
低次元部分空間にエンコーダ特徴を制約するために固定正則射影を挿入する表現レベル前処理を提案する。
線形実現可能性仮定の下では、ボトルネック次元が特徴空間における最適値関数の内在的なランクを超えた場合、ボトルネックは表現性を保存する。
シングルタスクとマルチタスクのベンチマークで、ボトルネック次元がタスク依存のしきい値を超えると、ベースラインのパフォーマンスが一致または改善されることがわかった。
論文 参考訳(メタデータ) (2026-05-25T16:31:33Z) - Stochastic-Dimension Frozen Sampled Neural Network for High-Dimensional Gross-Pitaevskii Equations on Unbounded Domains [0.0]
非有界領域上の高次元グロス・ピタエフスキー方程式(GPE)のクラスを解くための凍結サンプリングニューラルネットワーク(SD-FSNN)を提案する。
SD-FSNNはすべての次元に偏りがなく、計算コストは次元に依存しない。
論文 参考訳(メタデータ) (2026-04-10T14:31:36Z) - VIKING: Deep variational inference with stochastic projections [48.946143517489496]
変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。
パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。
これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
論文 参考訳(メタデータ) (2025-10-27T15:38:35Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳(メタデータ) (2023-06-14T11:41:42Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。