論文の概要: Broken neural scaling laws in materials science
- arxiv url: http://arxiv.org/abs/2602.05702v1
- Date: Thu, 05 Feb 2026 14:27:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-06 18:49:08.970753
- Title: Broken neural scaling laws in materials science
- Title（参考訳）: 材料科学における破壊的ニューラルスケーリング法則
- Authors: Max Großmann, Malte Grunert, Erich Runge,
- Abstract要約: 材料科学では、データは計算的にも実験的にも、生成に乏しく高価である。
データとモデル限定のレシエーションを区別するために、データセットサイズとモデルキャパシティでモデルパフォーマンスがどのようにスケールするかを特定することが重要です。
本稿では, 金属の誘電関数の予測という, パラダイム材料科学の課題に対するニューラルネットワークのスケーリング法則について検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In materials science, data are scarce and expensive to generate, whether computationally or experimentally. Therefore, it is crucial to identify how model performance scales with dataset size and model capacity to distinguish between data- and model-limited regimes. Neural scaling laws provide a framework for quantifying this behavior and guide the design of materials datasets and machine learning architectures. Here, we investigate neural scaling laws for a paradigmatic materials science task: predicting the dielectric function of metals, a high-dimensional response that governs how solids interact with light. Using over 200,000 dielectric functions from high-throughput ab initio calculations, we study two multi-objective graph neural networks trained to predict the frequency-dependent complex interband dielectric function and the Drude frequency. We observe broken neural scaling laws with respect to dataset size, whereas scaling with the number of model parameters follows a simple power law that rapidly saturates.
- Abstract（参考訳）: 材料科学では、データは計算的にも実験的にも、生成に乏しく高価である。
したがって、データセットのサイズとモデルキャパシティによってモデルパフォーマンスがどのようにスケールするかを識別し、データとモデル限定のレギュレーションを区別することが重要である。
ニューラルネットワークのスケーリング法則は、この振る舞いを定量化し、材料データセットと機械学習アーキテクチャの設計を導くためのフレームワークを提供する。
本稿では, 金属の誘電関数を予測し, 固体が光とどのように相互作用するかを制御した高次元応答について検討する。
高スループットabinitio計算による20万以上の誘電関数を用いて、周波数依存の複素バンド間誘電関数とDrude周波数を予測するために訓練された2つの多目的グラフニューラルネットワークについて検討した。
データセットサイズに関するニューラルネットワークのスケーリング法則の破れを観察する一方、モデルパラメータの数によるスケーリングは、急速に飽和する単純なパワー法則に従う。
関連論文リスト
- NOBLE -- Neural Operator with Biologically-informed Latent Embeddings to Capture Experimental Variability in Biological Neuron Models [63.592664795493725]
NOBLEは、解釈可能なニューロンの特徴を連続周波数変調した埋め込みから電流注入によって誘導されるソマティック電圧応答へのマッピングを学ぶ神経オペレーターフレームワークである。
内在的な実験変数を考慮したニューラルダイナミクスの分布を予測する。
NOBLEは、その一般化を実際の実験データで検証する最初の大規模ディープラーニングフレームワークである。
論文 参考訳（メタデータ） (2025-06-05T01:01:18Z) - Neural Scaling Laws Rooted in the Data Distribution [0.0]
ディープニューラルネットワークは経験的なニューラルスケーリング法則を示し、誤差はモデルやデータサイズの増加とともにパワー法則として減少する。
パーコレーション理論を用いて,自然データセットを記述する数学的モデルを構築した。
パーコレーション理論シミュレーションから導かれたおもちゃのデータセット上で回帰モデルを訓練して理論を検証した。
論文 参考訳（メタデータ） (2024-12-10T22:01:38Z) - Information-Theoretic Foundations for Neural Scaling Laws [20.617552198581024]
我々は、ニューラルスケーリング法則のための情報理論の基礎を開発する。
データとモデルサイズの間の最適関係は、対数的要因まで線形であることが観察された。
論文 参考訳（メタデータ） (2024-06-28T02:20:54Z) - A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳（メタデータ） (2024-02-02T01:41:38Z) - Peridynamic Neural Operators: A Data-Driven Nonlocal Constitutive Model
for Complex Material Responses [12.454290779121383]
本研究では,データから非局所法則を学習するPNO(Peridynamic Neural Operator)と呼ばれる新しいニューラルネットワークアーキテクチャを提案する。
このニューラル作用素は、客観性と運動量バランス法則が自動的に保証される状態ベースペリダイナミックスという形でフォワードモデルを提供する。
複雑な応答をキャプチャする能力により、学習したニューラル演算子はベースラインモデルと比較して精度と効率が向上することを示した。
論文 参考訳（メタデータ） (2024-01-11T17:37:20Z) - A Solvable Model of Neural Scaling Laws [72.8349503901712]
大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。
我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。
主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
論文 参考訳（メタデータ） (2022-10-30T15:13:18Z) - Broken Neural Scaling Laws [9.020652910657931]
ブロークニューラルスケーリング法(BNSL)は、ディープニューラルネットワークのスケーリング挙動を正確にモデル化し、外挿する。
このセットには、大規模ビジョン、言語、オーディオ、ビデオ、拡散、生成モデリング、マルチモーダル学習、コントラスト学習、AIアライメント、ロボット工学、アウト・オブ・ディストリビューション(OOD)一般化が含まれる。
論文 参考訳（メタデータ） (2022-10-26T17:45:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。