論文の概要: On the Limits of Self-Improving in LLMs and Why AGI, ASI and the Singularity Are Not Near Without Symbolic Model Synthesis

• arxiv url: http://arxiv.org/abs/2601.05280v1
• Date: Mon, 05 Jan 2026 19:50:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:49.726277
• Title: On the Limits of Self-Improving in LLMs and Why AGI, ASI and the Singularity Are Not Near Without Symbolic Model Synthesis
• Title（参考訳）: LLMにおける自己改善の限界とAGI, ASI, Singularityがシンボリックモデル合成なしでは成立しない理由について
• Authors: Hector Zenil,
• Abstract要約: 我々は,大規模言語モデル(LLM)における自己学習と生成AIを離散時間力学系として定式化する。 1) 有限サンプリング効果が分布多様性の単調な損失(モード崩壊)を引き起こすエントロピー減衰と,(2) 外部グラウンドの損失がモデルの真理表現をランダムウォークとして漂流させる変数増幅の2つの基本的障害モードを導出する。
• 参考スコア（独自算出の注目度）: 0.01269104766024433
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We formalise recursive self-training in Large Language Models (LLMs) and Generative AI as a discrete-time dynamical system and prove that, as training data become increasingly self-generated ($α_t \to 0$), the system undergoes inevitably degenerative dynamics. We derive two fundamental failure modes: (1) Entropy Decay, where finite sampling effects cause a monotonic loss of distributional diversity (mode collapse), and (2) Variance Amplification, where the loss of external grounding causes the model's representation of truth to drift as a random walk, bounded only by the support diameter. We show these behaviours are not contingent on architecture but are consequences of distributional learning on finite samples. We further argue that Reinforcement Learning with imperfect verifiers suffers similar semantic collapse. To overcome these limits, we propose a path involving symbolic regression and program synthesis guided by Algorithmic Probability. The Coding Theorem Method (CTM) allows for identifying generative mechanisms rather than mere correlations, escaping the data-processing inequality that binds standard statistical learning. We conclude that while purely distributional learning leads to model collapse, hybrid neurosymbolic approaches offer a coherent framework for sustained self-improvement.
• Abstract（参考訳）: 我々は、大規模言語モデル(LLM)における再帰的自己学習と生成AIを離散時間力学系として定式化し、トレーニングデータがますます自己生成される(α_t \to 0$)につれて、システムは必然的に退化動的になることを示す。 1) 有限サンプリング効果が分布多様性の単調な損失(モード崩壊)を引き起こすエントロピー減衰と,(2) 変動増幅,(2) 外部グラウンドの損失が,モデルの真理表現をランダムウォーク(ランダムウォーク)として、支持径のみに限定してドリフトする分散増幅の2つの基本的障害モードを導出する。 これらの挙動はアーキテクチャ上ではなく,有限標本上での分布学習の結果であることを示す。 さらに、不完全検証を伴う強化学習は、同様の意味的崩壊を被ると主張している。 これらの限界を克服するために,アルゴリズム確率によって導かれる記号回帰とプログラム合成を含む経路を提案する。 符号化定理法(Coding Theorem Method, CTM)は、単なる相関関係ではなく生成機構を識別し、標準的な統計的学習を束縛するデータ処理の不平等を逃れる。 純粋に分布学習はモデル崩壊につながるが、ハイブリッドなニューロシンボリックアプローチは持続的な自己改善のためのコヒーレントな枠組みを提供する。

関連論文リスト

• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
  ランダム行列によって駆動される高次元力学系について概説する。 機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
  論文  参考訳（メタデータ） (2026-01-03T00:12:32Z)
• Towards Unsupervised Causal Representation Learning via Latent Additive Noise Model Causal Autoencoders [1.9732490977700972]
  教師なし表現学習は、潜伏する生成因子を回復しようとする。 観測データから因果変数を遠ざけることは、監督なしでは不可能である。 本研究では、非教師付き発見のための強力な誘導バイアスとして、Latent Additive Noise Model Causal Autoencoder (LANCA)を提案する。
  論文  参考訳（メタデータ） (2025-12-15T10:52:30Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Ascent Fails to Forget [45.75497227694833]
  勾配上昇に基づく非制約最適化手法は、しばしば機械のアンラーニングに失敗することを示した。 我々は、この現象を、データセットを忘れ、保持する際、本質的に統計的に依存しているとみなす。 これらの統計的依存関係の存在は,相関としてのみ現れても,上昇に基づく未学習が失敗するのに十分であることがわかった。
  論文  参考訳（メタデータ） (2025-09-30T15:48:49Z)
• Information-Theoretic Bounds and Task-Centric Learning Complexity for Real-World Dynamic Nonlinear Systems [0.6875312133832079]
  動的非線形系は静的および動的効果の結合による歪みを示す。 本稿では, 構造化分解, 分散解析, タスク中心の複雑性境界に基づく理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-09-08T12:08:02Z)
• A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
  高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。 モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。 一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
  論文  参考訳（メタデータ） (2025-02-26T06:18:13Z)
• Disentangling Observed Causal Effects from Latent Confounders using Method of Moments [67.27068846108047]
  我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。 我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
  論文  参考訳（メタデータ） (2021-01-17T07:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。