論文の概要: Scaling Laws and Symmetry, Evidence from Neural Force Fields

• arxiv url: http://arxiv.org/abs/2510.09768v1
• Date: Fri, 10 Oct 2025 18:22:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.614583
• Title: Scaling Laws and Symmetry, Evidence from Neural Force Fields
• Title（参考訳）: スケーリング法則と対称性, ニューラルフォース場からの証拠
• Authors: Khang Ngo, Siamak Ravanbakhsh,
• Abstract要約: アーキテクチャに依存した指数によるデータ、パラメータ、計算について、明確なパワールールのスケーリング動作を示します。 特に、タスク対称性を利用する同変アーキテクチャは、非同変モデルよりもスケールが優れていることを観察する。 我々の分析は、計算最適トレーニングでは、データサイズとモデルサイズはアーキテクチャに関わらず、瞬時にスケールする必要があることを示唆している。
• 参考スコア（独自算出の注目度）: 14.109815254143205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an empirical study in the geometric task of learning interatomic potentials, which shows equivariance matters even more at larger scales; we show a clear power-law scaling behaviour with respect to data, parameters and compute with ``architecture-dependent exponents''. In particular, we observe that equivariant architectures, which leverage task symmetry, scale better than non-equivariant models. Moreover, among equivariant architectures, higher-order representations translate to better scaling exponents. Our analysis also suggests that for compute-optimal training, the data and model sizes should scale in tandem regardless of the architecture. At a high level, these results suggest that, contrary to common belief, we should not leave it to the model to discover fundamental inductive biases such as symmetry, especially as we scale, because they change the inherent difficulty of the task and its scaling laws.
• Abstract（参考訳）: 本研究では, 原子間ポテンシャルを学習する幾何学的タスクにおいて, より大きなスケールで等価性を示す実証的研究を行い, 「構造に依存した指数」を用いたデータ, パラメータ, 計算量に関して, 明確なパワーロースケーリング挙動を示す。 特に、タスク対称性を利用する同変アーキテクチャは、非同変モデルよりもスケールが優れていることを観察する。 さらに、同変アーキテクチャでは、高次表現はより良いスケーリング指数に変換される。 我々の分析は、計算最適トレーニングでは、データサイズとモデルサイズはアーキテクチャに関係なく瞬時にスケールする必要があることを示唆している。 高いレベルでは、これらの結果は、一般的な信念とは対照的に、対称性のような基本的な帰納的バイアス、特に我々がスケールするにつれて、タスクの本質的な困難さとそのスケーリング法則を変えるため、モデルにそれを置き去りにすべきでないことを示唆している。

関連論文リスト

• Complexity Scaling Laws for Neural Models using Combinatorial Optimization [3.4585775092874163]
  問題複雑性に基づくスケーリング法則を策定する。 我々は、解空間サイズと表現空間サイズという2つの基本的な複雑さの尺度を解析する。 最適化はスムーズなコストトレンドを促進し,解釈可能な損失がなくても有意義なスケーリング法則を得ることができることを示す。
  論文  参考訳（メタデータ） (2025-06-15T18:20:35Z)
• Probing the effects of broken symmetries in machine learning [0.0]
  我々は,非対称モデルがデータから対称性を学習できることを示す。 我々は、対称性の破れによって、直接的または間接的に影響を受けやすい物理的観測物に特に焦点を合わせ、モデルが補間的でバルクな状態で使用されるとき、無視可能な結果を見つける。
  論文  参考訳（メタデータ） (2024-06-25T17:34:09Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• A Solvable Model of Neural Scaling Laws [72.8349503901712]
  大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。 我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。 主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
  論文  参考訳（メタデータ） (2022-10-30T15:13:18Z)
• Learning Physical Dynamics with Subequivariant Graph Neural Networks [99.41677381754678]
  グラフニューラルネットワーク(GNN)は、物理力学を学習するための一般的なツールとなっている。 物理法則は、モデル一般化に必須な帰納バイアスである対称性に従属する。 本モデルは,RigidFall上でのPhysylonと2倍低ロールアウトMSEの8つのシナリオにおいて,平均3%以上の接触予測精度の向上を実現している。
  論文  参考訳（メタデータ） (2022-10-13T10:00:30Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Explaining Neural Scaling Laws [17.115592382420626]
  訓練されたディープニューラルネットワークの人口減少は、しばしば正確なパワー-ロースケーリング関係に従う。 本稿では、これらのスケーリング法則の起源を説明し、接続する理論を提案する。 データセットとモデルサイズの両方に対する分散制限と分解能制限のスケーリング挙動を同定する。
  論文  参考訳（メタデータ） (2021-02-12T18:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。