論文の概要: How Model Growth, Recursion, and Boundary Operators Influence Scaling Exponents

• arxiv url: http://arxiv.org/abs/2609.19107v2
• Date: Thu, 17 Sep 2026 16:25:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.922848
• Title: How Model Growth, Recursion, and Boundary Operators Influence Scaling Exponents
• Title（参考訳）: モデル成長, 再帰, 境界演算子がスケーリング指数に与える影響
• Abstract要約: アーキテクチャの介入によって事前学習におけるスケーリング指数が変更できることを示し,計算量の増加に伴い性能が大幅に向上することを示した。 特に、7.4Bモデルの成長アーキテクチャは、CORE上のGPT-3 13Bと約20倍の計算量で一致し、スケールによって増加する計算効率が向上する。
• 参考スコア（独自算出の注目度）: 38.943733445001016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling laws predict how loss decreases with increases in computation. We show, contrary to conventional wisdom, that architectural interventions can modify scaling exponents in pre-training, leading to power-law improvements in performance as computation increases. As an anchoring point, we consider the architectural formulation of looped transformers. Although not typically used in this way, looping, also known as recursive depth, provides a mechanism for model growth, by increasing the number of loops during training. Model growth, with and without shared weights, provides the biggest changes to the scaling exponents. In particular, a 7.4B model growth architecture matches GPT-3 13B on CORE with roughly $20\times$ less compute, and has compute efficiency gains that increase with scale. Moreover, simply using a boundary operator in a vanilla transformer, which normalizes and injects an earlier block, also provides an exponent increase, although to a lesser extent. In the data-constrained, multi-epoch setting, standard looping has a useful regularizing effect, where we find it is compute-optimal to increase the number of loops with scale. These results can be understood through the lens of computational depth: for a given computational budget, we wish to increase the usable depth of the transformer, which can lead to efficiency gains that increase with scale.
• Abstract（参考訳）: スケーリング法則は、計算量の増加に伴う損失の減少を予測する。 従来の知恵とは裏腹に、アーキテクチャの介入は事前学習におけるスケーリング指数を変更できることを示し、計算が増加するにつれて性能が大幅に向上することを示した。 アンカーポイントとしてループ変換器のアーキテクチャ定式化を考える。 このような方法では一般的には使われないが、再帰的深さ(recursive depth)としても知られるループは、トレーニング中にループの数を増やすことによって、モデル成長のメカニズムを提供する。 モデルの成長は、共有重み付きおよび非共有重み付きであり、スケーリング指数に最も大きな変化をもたらす。 特に、7.4Bモデルの成長アーキテクチャは、CORE上のGPT-3 13Bと約20\times$の計算で一致し、スケールによって増加する計算効率が向上する。 さらに、バニラ変圧器のバニラ演算子を単に使用すれば、初期ブロックを正規化し、注入することで、より少ない範囲で指数的な増加がもたらされる。 データ制約付きマルチエポックな設定では、標準ループは有効な正規化効果を持ち、スケールでループ数を増やすのが計算最適であることが分かる。 これらの結果は計算深さのレンズを通して理解することができる: 与えられた計算予算に対して、変換器の使用可能な深さを増やしたい。

関連論文リスト

• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• Neural Scaling Universality: If Exponents Are Fixed, Time to Understand Coefficients [3.294420397461204]
  ニューラルスケーリング法則は、トレーニング時間、モデルサイズ、計算量を含むパワー法則として、事前学習損失がいかに崩壊するかを記述する。 我々は、その係数を理解することが、短期的なパフォーマンス改善の鍵であると主張する。
  論文  参考訳（メタデータ） (2026-06-23T17:46:30Z)
• Cubit: Token Mixer with Kernel Ridge Regression [30.306738326416223]
  変換器のアテンションモジュールは,Nadaraya-Watsonレグレッションの実行と解釈できることを示す。 Kernel Ridge Regression (KRR)を活用する次世代アーキテクチャCubitを提案する。 我々は、KRRベースのアーキテクチャであるCubitが、バニラ変換器よりも強力な数学的基盤を提供すると主張している。
  論文  参考訳（メタデータ） (2026-05-07T16:18:55Z)
• LoopViT: Scaling Visual ARC with Looped Transformers [14.9105267508928]
  重み付け繰り返しによりモデル容量から深度を分離するLoop-ViTを提案する。 Loop-ViTは、局所的な畳み込みとグローバルな関心を組み合わせた、重み付けされたハイブリッドブロックを反復して、潜在的な思考の連鎖を形成する。 ARC-AGI-1ベンチマークの実証的な結果は、この視点を検証している。
  論文  参考訳（メタデータ） (2026-02-02T14:32:57Z)
• Fast and Simplex: 2-Simplicial Attention in Triton [30.500203127313576]
  標準的な点積注意をトリ線形関数に一般化するアーキテクチャである2-simplicial Transformerの使用について検討する。 固定されたトークン予算では、同様の大きさのモデルが、数学、コーディング、推論、論理といったタスクにおいて、ドット積よりも優れています。
  論文  参考訳（メタデータ） (2025-07-03T16:16:34Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。