論文の概要: Scaling Laws for Neural Material Models

• arxiv url: http://arxiv.org/abs/2509.21811v1
• Date: Fri, 26 Sep 2025 03:14:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.152224
• Title: Scaling Laws for Neural Material Models
• Title（参考訳）: ニューラルマテリアルモデルのスケーリング法則
• Authors: Akshay Trikha, Kyle Chu, Advait Gosai, Parker Szachta, Eric Weiner,
• Abstract要約: 優れた電池、半導体、医療機器を設計するには、材料特性の予測が不可欠である。 深層学習は、科学者がエネルギー、力、ストレスを予測することによって、有望な物質を素早く見つけるのに役立つ。 私たちのチームは、トレーニングデータのスケーリング(学習すべきより多くの情報を提供するモデル)、モデルサイズ(パターンを学ぶための能力を与えるモデル)、ニューラルネットワークの計算が、物質的特性予測のパフォーマンスにどのように影響するかを分析します。
• 参考スコア（独自算出の注目度）: 1.3048920509133808
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predicting material properties is crucial for designing better batteries, semiconductors, and medical devices. Deep learning helps scientists quickly find promising materials by predicting their energy, forces, and stresses. Companies scale capacities of deep learning models in multiple domains, such as language modeling, and invest many millions of dollars into such models. Our team analyzes how scaling training data (giving models more information to learn from), model sizes (giving models more capacity to learn patterns), and compute (giving models more computational resources) for neural networks affects their performance for material property prediction. In particular, we trained both transformer and EquiformerV2 neural networks to predict material properties. We find empirical scaling laws for these models: we can predict how increasing each of the three hyperparameters (training data, model size, and compute) affects predictive performance. In particular, the loss $L$ can be measured with a power law relationship $L = \alpha \cdot N^{-\beta}$, where $\alpha$ and $\beta$ are constants while $N$ is the relevant hyperparameter. We also incorporate command-line arguments for changing training settings such as the amount of epochs, maximum learning rate, and whether mixed precision is enabled. Future work could entail further investigating scaling laws for other neural network models in this domain, such as GemNet and fully connected networks, to assess how they compare to the models we trained.
• Abstract（参考訳）: 優れた電池、半導体、医療機器を設計するには、材料特性の予測が不可欠である。 深層学習は、科学者がエネルギー、力、ストレスを予測することによって、有望な物質を素早く見つけるのに役立つ。 企業は、言語モデリングなどの複数のドメインでディープラーニングモデルのキャパシティを拡大し、そのようなモデルに数百万ドルを投資する。 私たちのチームは、トレーニングデータのスケーリング(学習すべきより多くの情報を提供するモデル)、モデルサイズ(パターンを学ぶための能力を与えるモデル)、ニューラルネットワークの計算(計算リソースを増やすモデル)が、物質的特性予測のパフォーマンスにどのように影響するかを分析します。 特に、材料特性を予測するために、トランスとEquiformerV2ニューラルネットワークの両方を訓練した。 3つのハイパーパラメータ(トレーニングデータ、モデルサイズ、計算量)の増加が予測性能に与える影響を予測できる。 特に、損失$L$は電力法則関係$L = \alpha \cdot N^{-\beta}$で測定でき、$\alpha$と$\beta$は定数であり、$N$は関連するハイパーパラメータである。 また、エポックの量、最大学習率、混合精度の有効化など、トレーニング設定を変更するためのコマンドライン引数も組み込んだ。 将来的には、この領域の他のニューラルネットワークモデル、例えばGemNetや完全に接続されたネットワークのスケーリング法則をさらに調査して、トレーニングしたモデルとどのように比較するかを評価することになるでしょう。

関連論文リスト

• An exactly solvable model for emergence and scaling laws in the multitask sparse parity problem [2.598133279943607]
  本稿では,新たな能力(スキル)を基礎関数として表現するフレームワークを提案する。 新たなスキルの出現と、トレーニング時間、データサイズ、モデルサイズ、最適計算による損失の法則のスケーリングに関する分析式を見つける。 私たちの単純なモデルでは、単一の適合パラメータを使用して、トレーニング時間、データサイズ、モデルサイズが増大するにつれて、複数の新しいスキルのシグモダルな出現を捉えます。
  論文  参考訳（メタデータ） (2024-04-26T17:45:32Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Datamodels: Predicting Predictions from Training Data [86.66720175866415]
  本稿では,モデルクラスの振る舞いを学習データの観点から分析するための概念的枠組みであるデータモデリングについて述べる。 単純な線形データモデルであっても、モデル出力をうまく予測できることが示される。
  論文  参考訳（メタデータ） (2022-02-01T18:15:24Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。