Fugu-MT 論文翻訳(概要): Neural Scaling Laws of Transformer Operator Network

論文の概要: Neural Scaling Laws of Transformer Operator Network

arxiv url: http://arxiv.org/abs/2609.33533v1
Date: Sun, 27 Sep 2026 13:02:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-05 15:57:42.891268
Title: Neural Scaling Laws of Transformer Operator Network
Title（参考訳）: 変圧器演算子のニューラルスケーリング法則
Abstract要約: 本研究では,変圧器を用いた演算子学習の近似一般化と誤りを特徴付ける理論的枠組みを開発する。本分析は,従来のニューラルネットワークを用いた演算子学習の分析で現れる対数型パワーロー率とは対照的に,演算子学習におけるパワーローの一般化率を導出する。
参考スコア（独自算出の注目度）: 8.813001785794684
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transformers have emerged as powerful architectures for learning solution operators of physical systems. Empirically the prediction error has been observed to decrease when the data size and model size increase, suggesting neural scaling behavior. Yet a theoretical understanding of such scaling laws for transformer-based operator learning remains limited. In this work, we develop a theoretical framework for characterizing the approximation and generalization errors of transformer-based operator learning. Our analysis builds on a local-to-global approximation principle that is naturally aligned with the softmax attention mechanism and yields discretization-invariant output functions. On approximation theory, we derive a universal approximation error of transformer-based operator learning for Hölder-regular operators. On generalization theory, we establish a power scaling law between the prediction error and the training data size. The rate of convergence represented by the scaling exponent explicitly reflects the dimensions of the input and output domains, the regularity of the underlying functions and operators, and crucially, the intrinsic dimension of the input function class. By exploiting this intrinsic low-dimensional structure, our analysis yields a power-law generalization rate for operator learning, in contrast to the logarithmic-type power-law rates appearing in existing analyses of operator learning with feedforward neural networks. Numerical experiments validate the predicted power-law scaling and confirm that the convergence rate varies systematically with the intrinsic dimension of the input function class.
Abstract（参考訳）: トランスフォーマーは物理システムのソリューション演算子を学ぶための強力なアーキテクチャとして登場した。実験的に、データサイズとモデルサイズが増加すると予測エラーが減少し、神経スケーリングの挙動が示唆されている。しかし、変圧器に基づく演算子学習のスケーリング法則に関する理論的理解は依然として限られている。本研究では,変圧器を用いた演算子学習の近似と一般化誤差を特徴付ける理論的枠組みを開発する。本分析は,ソフトマックスアテンション機構と自然に一致し,離散化不変な出力関数を出力する局所-グローバル近似原理に基づく。近似理論では、Hölder-regular演算子に対する変換子に基づく演算子学習の普遍近似誤差を導出する。一般化理論では,予測誤差とトレーニングデータサイズとの間にパワースケーリング則を確立する。スケーリング指数で表される収束速度は、入力および出力領域の次元、基礎となる関数と演算子の正則性、そして重要なことに、入力関数クラスの本質的な次元を明示的に反映する。この本質的な低次元構造を利用することで,従来のニューラルネットワークを用いた演算子学習の分析に現れる対数型パワーロー率とは対照的に,演算子学習のパワーロー一般化率が得られる。数値実験により、予測されたパワーロースケーリングを検証し、収束速度が入力関数クラスの内在次元と体系的に変化することを確認した。

関連論文リスト

Neural Scaling Universality: If Exponents Are Fixed, Time to Understand Coefficients [3.294420397461204]
ニューラルスケーリング法則は、トレーニング時間、モデルサイズ、計算量を含むパワー法則として、事前学習損失がいかに崩壊するかを記述する。我々は、その係数を理解することが、短期的なパフォーマンス改善の鍵であると主張する。
論文参考訳（メタデータ） (2026-06-23T17:46:30Z)
Unifying Learning Dynamics and Generalization in Transformers Scaling Law [1.5229257192293202]
大規模言語モデル(LLM)開発の基盤であるスケーリング法則は,計算資源の増加に伴うモデル性能の向上を予測している。この研究は、変圧器に基づく言語モデルの学習力学を常微分方程式(ODE)システムとして定式化する。本分析では,データによる計算資源のスケールとして,一般化誤差と既約リスクの収束を特徴付ける。
論文参考訳（メタデータ） (2025-12-26T17:20:09Z)
From Shortcut to Induction Head: How Data Diversity Shapes Algorithm Selection in Transformers [67.02076505996284]
本研究では, 事前学習したデータ分布の選択が, 浅層変圧器を一方の行動に向ける方法について検討する。その結果,事前学習したトランスフォーマーのアルゴリズム的バイアスに光を当て,学習行動のデータ駆動制御に関する概念的ガイドラインを提供することができた。
論文参考訳（メタデータ） (2025-12-21T08:10:26Z)
Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning [50.99796659680724]
本研究では,GSM8Kスタイルのモジュラー演算をテストベッドとして用いたTransformerネットワークにおけるアウト・オブ・ディストリビューション(OOD)の一般化について検討する。我々は,OOD一般化の強化を目的とした4つのアーキテクチャ機構のセットを紹介し,検討する。我々はこれらの実験結果を詳細な機械論的解釈可能性分析で補完し、これらのメカニズムがOOD一般化能力をいかに高めるかを明らかにする。
論文参考訳（メタデータ） (2025-10-15T21:03:59Z)
Learning Modular Exponentiation with Transformers [0.38887448816036313]
4層エンコーダ・デコーダ・トランスモデルをトレーニングし、モジュラー指数化を行う。相互学習は高い性能向上をもたらし、関連するモジュラーを突如に一般化する。これらの結果から,変圧器モデルは特殊計算回路を用いてモジュラー演算を学習することが示唆された。
論文参考訳（メタデータ） (2025-06-30T10:00:44Z)
Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
論文参考訳（メタデータ） (2024-10-22T21:30:01Z)
Analyzing Neural Scaling Laws in Two-Layer Networks with Power-Law Data Spectra [0.0]
ニューラルスケーリング法則は、深層ニューラルネットワークのパフォーマンスが、トレーニングデータサイズ、モデルの複雑さ、トレーニング時間などの重要な要因とどのようにスケールするかを記述する。我々は, 統計力学の手法を用いて, 生徒-教員間の一パス勾配勾配を解析する。
論文参考訳（メタデータ） (2024-10-11T17:21:42Z)
Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study [8.183509993010983]
深部演算子のネットワークにおけるニューラルネットワークのスケーリング法則をChenおよびChenスタイルアーキテクチャを用いて検討する。我々は、その近似と一般化誤差を分析して、ニューラルネットワークのスケーリング法則を定量化する。本結果は,演算子学習における神経スケーリング法則を部分的に説明し,その応用の理論的基盤を提供する。
論文参考訳（メタデータ） (2024-10-01T03:06:55Z)
Scaling and renormalization in high-dimensional regression [72.59731158970894]
リッジ回帰に関する最近の結果について統一的な視点を提示する。我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
論文参考訳（メタデータ） (2024-05-01T15:59:00Z)
Generalization Properties of Stochastic Optimizers via Trajectory Analysis [48.38493838310503]
本稿では,Fernique-Talagrand関数と局所パワーローの両方が一般化性能の予測可能であることを示す。本稿では,Fernique-Talagrand関数と局所パワーローの両方が一般化性能の予測可能であることを示す。
論文参考訳（メタデータ） (2021-08-02T10:58:32Z)
Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文参考訳（メタデータ） (2020-10-02T15:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。