論文の概要: A Limit Theory of Foundation Models: A Mathematical Approach to Understanding Emergent Intelligence and Scaling Laws

• arxiv url: http://arxiv.org/abs/2604.24037v1
• Date: Mon, 27 Apr 2026 04:43:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.740882
• Title: A Limit Theory of Foundation Models: A Mathematical Approach to Understanding Emergent Intelligence and Scaling Laws
• Title（参考訳）: 基礎モデルの極限理論:創発的知性とスケーリング法を理解するための数学的アプローチ
• Authors: Jun Shu, Junxiong Jia, Deyu Meng, Zongben Xu,
• Abstract要約: 本研究では,極限理論の観点から創発的知能を定式化する数学的アプローチの開発を試みる。 創発的知能は、極限振る舞いに対応する創発的能力を持つ、lim_N,P,K から infty mathcalE(N,P,K)$ の存在として再認識する。
• 参考スコア（独自算出の注目度）: 69.11818285240689
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emergent intelligence have played a major role in the modern AI development. While existing studies primarily rely on empirical observations to characterize this phenomenon, a rigorous theoretical framework remains underexplored. This study attempts to develop a mathematical approach to formalize emergent intelligence from the perspective of limit theory. Specifically, we introduce a performance function E(N, P, K), dependent on data size N, model size P and training steps K, to quantify intelligence behavior. We posit that intelligence emerges as a transition from finite to effectively infinite knowledge, and thus recast emergent intelligence as existence of the limit $\lim_{N,P,K \to \infty} \mathcal{E}(N,P,K)$, with emergent abilities corresponding to the limiting behavior. This limit theory helps reveal that emergent intelligence originates from the existence of a parameter-limit architecture (referred to as the limit architecture), and that emergent intelligence rationally corresponds to the learning behavior of this limit system. By introducing tools from nonlinear Lipschitz operator theory, we prove that the necessary and sufficient conditions for existence of the limit architecture. Furthermore, we derive the scaling law of foundation models by leveraging tools of Lipschitz operator and covering number. Theoretical results show that: 1) emergent intelligence is governed by three key factors-training steps, data size and the model architecture, where the properties of basic blocks play a crucial role in constructing foundation models; 2) the critical condition Lip(T)=1 for emergent intelligence provides theoretical support for existing findings. 3) emergent intelligence is determined by an infinite-dimensional system, yet can be effectively realized in practice through a finite-dimensional architecture. Our empirical results corroborate these theoretical findings.
• Abstract（参考訳）: 創発的な知性は、現代のAI開発において重要な役割を果たしてきた。 既存の研究は、主にこの現象を特徴づける経験的観察に依存しているが、厳密な理論的な枠組みは未解明のままである。 本研究では,極限理論の観点から創発的知能を定式化する数学的アプローチの開発を試みる。 具体的には,データサイズN,モデルサイズP,トレーニングステップKに依存する性能関数E(N,P,K)を導入し,インテリジェンス動作の定量化を行う。 我々は、知性は有限から事実上無限の知識への遷移として現れると仮定し、従って、創発的知性は極限 $\lim_{N,P,K \to \infty} \mathcal{E}(N,P,K)$ の存在として、限界な振る舞いに対応する創発的能力を持つとみなす。 この極限理論は、創発的知性は(極限的アーキテクチャと呼ばれる)パラメータ限界アーキテクチャの存在から発生し、創発的知性はこの極限システムの学習行動に合理的に対応していることを示すのに役立つ。 非線形リプシッツ作用素理論からツールを導入することにより、極限構造の存在に必要な必要十分条件が証明される。 さらに,Lipschitz演算子のツールと被覆数を利用して基礎モデルのスケーリング法則を導出する。 理論的には 1) 創発的知性は、基本ブロックの特性が基礎モデルの構築において重要な役割を果たす3つの重要な要素、データサイズ、モデルアーキテクチャによって管理される。 2)緊急インテリジェンスのための臨界条件 Lip(T)=1 は,既存の知見を理論的に支持する。 3) 創発的知性は無限次元のシステムによって決定されるが、実際には有限次元のアーキテクチャを通して効果的に実現することができる。 私たちの経験的結果は、これらの理論的な発見を裏付けるものです。

関連論文リスト

• Modularity is the Bedrock of Natural and Artificial Intelligence [51.60091394435895]
  モジュラリティは、効率的な学習と強力な一般化能力をサポートするために重要であることが示されている。 ナチュラルインテリジェンスにおけるその役割と、さまざまな異なるように見えるAIサブフィールドでのメリットが証明されているにもかかわらず、モジュラリティはメインストリームのAI研究において比較的過小評価されている。 特に、モジュラリティがもたらす計算上の優位性や、それがいくつかのAI研究領域にまたがるソリューションとして現れる方法、そしてモジュラリティが、自然と人工知能のギャップを埋めるのにどのように役立つかを検討する。
  論文  参考訳（メタデータ） (2026-02-21T21:47:09Z)
• Beyond the Black Box: A Cognitive Architecture for Explainable and Aligned AI [0.0]
  ウェイトカルカリズム(Weight-Calculatism)は、第一原理に基づく新しい認知アーキテクチャである。 決定は解釈可能なウェイト・カルキュレーションモデルによって定式化される。 結果は、前例のないシナリオにおいて、アーキテクチャが透明で人間らしい推論と堅牢な学習を実現することを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T12:42:54Z)
• Foundations of Artificial Intelligence Frameworks: Notion and Limits of AGI [0.0]
  人工知能は、スケールに関係なく、現在のニューラルネットワークパラダイムから生まれない、と我々は主張する。 本稿では,既存の施設(計算基板)と建築組織を区別する枠組みを提案する。
  論文  参考訳（メタデータ） (2025-11-23T16:18:13Z)
• Beyond Memorization: Extending Reasoning Depth with Recurrence, Memory and Test-Time Compute Scaling [60.63703438729223]
  異なるアーキテクチャとトレーニング手法がモデル多段階推論能力にどのように影響するかを示す。 我々は,逐次計算においてモデル深度の増加が重要な役割を担っていることを確認した。
  論文  参考訳（メタデータ） (2025-08-22T18:57:08Z)
• Thinking Beyond Tokens: From Brain-Inspired Intelligence to Cognitive Foundations for Artificial General Intelligence and its Societal Impact [27.722167796617114]
  本稿では,人工知能,認知神経科学,心理学,生成モデル,エージェントベースシステムの学際的合成について述べる。 我々は汎用知能のアーキテクチャと認知の基礎を分析し、モジュラー推論、永続記憶、マルチエージェント協調の役割を強調した。 我々は、人工知能への道の鍵となる科学的、技術的、倫理的課題を特定します。
  論文  参考訳（メタデータ） (2025-07-01T16:52:25Z)
• The Unified Cognitive Consciousness Theory for Language Models: Anchoring Semantics, Thresholds of Activation, and Emergent Reasoning [2.0800882594868293]
  統一認知意識理論(UCCT)は、これらを巨大な無意識パターンリポジトリとみなしている。 UCCTはこの過程を、事前学習で学んだ統計的事前学習と文脈駆動のターゲットパターンの間のベイズ的競争として定式化している。 我々はこの理論を、しきい値交差、モダリティ、密度距離予測力の3つの原理で基礎づける。
  論文  参考訳（メタデータ） (2025-06-02T18:12:43Z)
• A Novel Neural-symbolic System under Statistical Relational Learning [47.30190559449236]
  NSF-SRLと呼ばれる統計的関係学習に基づくニューラルシンボリック・フレームワークを提案する。 シンボリック推論の結果は、深層学習モデルによる予測の洗練と修正に利用され、深層学習モデルはシンボリック推論プロセスの効率を高める。 我々は、このアプローチがニューラルシンボリックシステムの新しい標準となり、汎用人工知能の分野における将来の研究を促進すると信じている。
  論文  参考訳（メタデータ） (2023-09-16T09:15:37Z)
• Brain-inspired Computational Intelligence via Predictive Coding [73.42407863671565]
  予測符号化(PC)は、機械学習コミュニティにとって潜在的に価値のある、有望な特性を示している。 PCライクなアルゴリズムは、機械学習とAIの複数のサブフィールドに存在し始めている。
  論文  参考訳（メタデータ） (2023-08-15T16:37:16Z)
• Kernel Based Cognitive Architecture for Autonomous Agents [91.3755431537592]
  本稿では,認知機能構築への進化的アプローチについて考察する。 本稿では,シンボル創発問題に基づくエージェントの進化を保証する認知アーキテクチャについて考察する。
  論文  参考訳（メタデータ） (2022-07-02T12:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。