論文の概要: Diminishing Returns in Expanding Generative Models and Godel-Tarski-Lob Limits

• arxiv url: http://arxiv.org/abs/2603.19687v1
• Date: Fri, 20 Mar 2026 06:42:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.030948
• Title: Diminishing Returns in Expanding Generative Models and Godel-Tarski-Lob Limits
• Title（参考訳）: 生成モデルの拡張とGodell-Tarski-Lob限界の最小化
• Authors: Angshul Majumdar,
• Abstract要約: 生成的推論システムの拡張を解析するための汎用的なタスク空間フレームワークを開発する。 軽微な仮定の下では、システムの容量が増加するにつれて、解決されたタスクの限界改善はゼロに収束しなければならないことを示す。
• 参考スコア（独自算出の注目度）: 11.62669179647184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern generative modelling systems are increasingly improved by expanding model capacity, training data, and computational resources. While empirical studies have documented such scaling behaviour across architectures including generative adversarial networks, variational autoencoders, transformer-based models, and diffusion models, the theoretical limits of capability growth in expanding generative systems remain poorly understood. In this paper we develop a general task-space framework for analysing expanding generative reasoning systems. Each system induces a subset of a global task space representing the tasks it can successfully solve, and system capability is measured by the probability mass of this solved-task set under a fixed task distribution. Within this framework we prove a structural result showing that, under mild assumptions, the marginal improvement in solved tasks must converge to zero as system capacity increases. Thus expanding generative systems may continue to gain capability, but the probability mass of newly solvable tasks necessarily diminishes asymptotically. We further provide a prediction-theoretic refinement based on complexity-weighted hypothesis classes inspired by algorithmic probability, yielding quantitative bounds on marginal improvement in prediction settings. Finally, we examine logical reasoning tasks and show that classical results from mathematical logic -- including Rosser incompleteness, Tarski's undefinability theorem, and Löb's theorem -- imply the persistence of unresolved logical tasks within sufficiently expressive reasoning systems. Together these results provide a mathematical perspective on the asymptotic behaviour of expanding generative systems, showing that long-run capability growth is constrained both by diminishing marginal improvements in task coverage and by fundamental logical limitations on internal reasoning.
• Abstract（参考訳）: モデルキャパシティ、トレーニングデータ、計算資源の拡大により、現代の生成モデリングシステムが改善されている。 実験的な研究は、生成的対向ネットワーク、変分オートエンコーダ、変圧器ベースモデル、拡散モデルを含むアーキテクチャ全体にわたるスケーリングの振る舞いを文書化してきたが、生成系の拡張における能力成長の理論的限界は未だ理解されていない。 本稿では,拡大する生成的推論システムを分析するための汎用的なタスク空間フレームワークを開発する。 各システムは、うまく解決できるタスクを表すグローバルなタスク空間のサブセットを誘導し、システム能力は、固定されたタスク分布の下で、この解決タスクセットの確率質量によって測定される。 この枠組み内では、軽微な仮定の下では、システムの容量が増加するにつれて、解決されたタスクの限界改善がゼロに収束しなければならないことを示す構造的な結果が証明される。 したがって、拡張生成系は能力を得続けるかもしれないが、新しく解けるタスクの確率質量は漸近的に減少する。 さらに、アルゴリズムの確率に着想を得た複雑性重み付き仮説クラスに基づく予測理論の改良を行い、予測設定における限界改善の量的境界を求める。 最後に、論理的推論タスクを調べ、ロッサーの不完全性、タルスキーの不定義性定理、レーブの定理など、数学的論理学の古典的な結果が十分表現的推論システム内の未解決論理的タスクの持続性を示唆していることを示す。 これらの結果は、生成系の拡張の漸近的振る舞いに関する数学的視点を与え、長期能力の成長は、タスクカバレッジの限界的な改善を減らし、内部推論の基本的な論理的制限によって制約されることを示した。

関連論文リスト

• Diffusion-Based Solver for CNF Placement on the Cloud-Continuum [1.529342790344802]
  CNF配置の拡散確率モデル(DDPM)に基づく新しい理論的枠組みが提案されている。 このモデルは、損失関数に直接制約固有の損失を組み込むことで、実現可能な解空間を学習することができる。 その結果,ネットワーク埋め込み問題に対する拡散型生成モデルの可能性が示された。
  論文  参考訳（メタデータ） (2025-11-03T08:47:58Z)
• Emergence of Superposition: Unveiling the Training Dynamics of Chain of Continuous Thought [64.43689151961054]
  有向グラフ到達性問題に対する簡易な2層変圧器のトレーニング力学を理論的に解析する。 分析の結果,連続的思考を用いたトレーニングでは,まずインデックスマッチングロジットが増加し,その後は軽度な仮定の下で拘束されることがわかった。
  論文  参考訳（メタデータ） (2025-09-27T15:23:46Z)
• Neural Expectation Operators [2.1756081703276]
  本稿では,非線形予測によるあいまいさをモデル化するためのパラダイムであるtextbfMeasure Learningを紹介する。 我々はニューラル期待演算子を、ドライバがニューラルネットワークによってパラメータ化される後方微分方程式(BSDEs)の解として定義する。 本稿では,建築設計による凸性などの重要な公理特性の強化のための建設的手法を提案する。
  論文  参考訳（メタデータ） (2025-07-13T06:19:28Z)
• Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
  我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。 ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
  論文  参考訳（メタデータ） (2025-06-26T22:40:30Z)
• Systemic Constraints of Undecidability [0.0]
  本稿では,システムの構造的特性としての計算不能を緩和するシステム的不決定性の理論を提案する。 決定不能なシステムの計算に機能的に関与するサブシステムは、その決定不能性を継承する。 我々のフレームワークは、オラクルの模倣を解除し、アーキテクチャの革新によって計算限界を回避できるという見解に挑戦する。
  論文  参考訳（メタデータ） (2025-06-21T22:56:26Z)
• Probabilistic neural operators for functional uncertainty quantification [14.08907045605149]
  本稿では,ニューラル演算子の出力関数空間上の確率分布を学習するフレームワークである確率論的ニューラル演算子(PNO)を紹介する。 PNOは、厳密な適切なスコアリングルールに基づく生成モデリングにより、ニューラル演算子を拡張し、不確実性情報をトレーニングプロセスに直接統合する。
  論文  参考訳（メタデータ） (2025-02-18T14:42:11Z)
• A Novel Neural-symbolic System under Statistical Relational Learning [47.30190559449236]
  NSF-SRLと呼ばれる統計的関係学習に基づくニューラルシンボリック・フレームワークを提案する。 シンボリック推論の結果は、深層学習モデルによる予測の洗練と修正に利用され、深層学習モデルはシンボリック推論プロセスの効率を高める。 我々は、このアプローチがニューラルシンボリックシステムの新しい標準となり、汎用人工知能の分野における将来の研究を促進すると信じている。
  論文  参考訳（メタデータ） (2023-09-16T09:15:37Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。