論文の概要: The wall confronting large language models

• arxiv url: http://arxiv.org/abs/2507.19703v2
• Date: Wed, 30 Jul 2025 07:58:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 11:57:45.823621
• Title: The wall confronting large language models
• Title（参考訳）: 大きな言語モデルに直面する壁
• Authors: Peter V. Coveney, Sauro Succi,
• Abstract要約: 大規模言語モデルの性能を決定するスケーリング法則は,予測の不確実性を改善する能力を大幅に制限していることを示す。 LLMの学習能力の多くを駆動するメカニズムは、誤りの積み重ねを発生させる確率の根本にあるのかもしれない、と我々は主張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We show that the scaling laws which determine the performance of large language models (LLMs) severely limit their ability to improve the uncertainty of their predictions. As a result, raising their reliability to meet the standards of scientific inquiry is intractable by any reasonable measure. We argue that the very mechanism which fuels much of the learning power of LLMs, namely the ability to generate non-Gaussian output distributions from Gaussian input ones, might well be at the roots of their propensity to produce error pileup, ensuing information catastrophes and degenerative AI behaviour. This tension between learning and accuracy is a likely candidate mechanism underlying the observed low values of the scaling components. It is substantially compounded by the deluge of spurious correlations pointed out by Calude and Longo which rapidly increase in any data set merely as a function of its size, regardless of its nature. The fact that a degenerative AI pathway is a very probable feature of the LLM landscape does not mean that it must inevitably arise in all future AI research. Its avoidance, which we also discuss in this paper, necessitates putting a much higher premium on insight and understanding of the structural characteristics of the problems being investigated.
• Abstract（参考訳）: 大規模言語モデル(LLM)の性能を決定するスケーリング法則は,予測の不確実性を改善する能力を大幅に制限していることを示す。 その結果、科学的調査の基準を満たすために信頼性を高めることは、合理的な手段によって難解である。 LLMの学習能力の多く、すなわちガウス入力から非ガウス出力分布を生成できるメカニズムは、エラーの積み上げ、情報の破滅、そして縮退するAIの振る舞いを発生させる確率の根底にあるのかもしれない、と我々は主張する。 この学習と精度の緊張は、観測されたスケーリングコンポーネントの低い値の根底にあると思われるメカニズムである。 Calude と Longo によって指摘された突発的相関の希薄化は、その性質に関わらず、その大きさの関数としてのみデータセットを急速に増加させる。 変性AI経路がLLMランドスケープの非常にありそうな特徴であるという事実は、将来のAI研究で必然的に発生しなければならないという意味ではない。 本稿でも論じているその回避策は、検討中の問題の構造的特性の洞察と理解に、はるかに高いプレミアムを課す必要がある。

関連論文リスト

• Estimating Interventional Distributions with Uncertain Causal Graphs through Meta-Learning [26.3914014514629]
  生物学から社会科学まで、科学分野では、多くの疑問がテキスト化されます。 モデル平均因果推定変換器ニューラルプロセス(MACE-TNP)を用いたメタラーニングによるエンドツーエンドモデルの構築を提案する。 我々の研究は、複雑なベイズ因果推論を近似するフレキシブルでスケーラブルなパラダイムとしてメタラーニングを確立している。
  論文  参考訳（メタデータ） (2025-07-07T22:48:32Z)
• Do Larger Language Models Imply Better Generalization? A Pretraining Scaling Law for Implicit Reasoning [89.17086632436363]
  本研究では,実世界の大規模知識グラフの構造と分布を再現する合成マルチホップ推論環境を提案する。 我々の推論タスクは、グラフの欠落したエッジを補完することであり、これは高度なマルチホップ推論を必要とし、現実世界の推論シナリオを模倣する。 特定の知識グラフに対して最適なモデルサイズを予測するために,知識グラフ探索エントロピーを最適モデルサイズに線形にマッピングする経験的スケーリングを求める。
  論文  参考訳（メタデータ） (2025-04-04T17:57:22Z)
• Emergent Abilities in Large Language Models: A Survey [9.50669909278749]
  大規模言語モデル(LLM)は、人工知能への最も有望な研究の流れの1つとして、新しい技術革命を導いている。 これらのモデルのスケーリングは、以前は観測されていなかった様々な創発的能力と関連付けられている。 これらの能力は、高度な推論やコンテキスト内学習からコーディングや問題解決まで多岐にわたる。 トランスフォーメーションの可能性にもかかわらず、創発的能力は未理解のままであり、定義、性質、予測可能性、含意について誤解を招く。
  論文  参考訳（メタデータ） (2025-02-28T01:20:01Z)
• Mechanism learning: Reverse causal inference in the presence of multiple unknown confounding through front-door causal bootstrapping [0.8901073744693314]
  機械学習(ML)予測モデルの最大の制限は、変数間の因果関係ではなく、関連性を取り戻すことである。 本稿では,前向きの因果ブートストラップを用いて観測データを分解する機構学習を提案する。 提案手法は,完全合成,半合成,実世界のデータセットを用いて,信頼性,不偏性,因果的ML予測器を検出できることを実証する。
  論文  参考訳（メタデータ） (2024-10-26T03:34:55Z)
• Language Model Cascades: Token-level uncertainty and beyond [65.38515344964647]
  言語モデル(LM)の最近の進歩により、複雑なNLPタスクの品質が大幅に向上した。 Cascadingは、より好ましいコスト品質のトレードオフを達成するためのシンプルな戦略を提供する。 トークンレベルの不確実性を学習後遅延ルールに組み込むことで,単純な集約戦略を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2024-04-15T21:02:48Z)
• Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification [116.77055746066375]
  大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。 本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-07T17:44:17Z)
• Mitigating Prior Errors in Causal Structure Learning: Towards LLM driven Prior Knowledge [17.634793921251777]
  我々は,Large Language Models (LLM) の誤った因果文に対処することを目指している。 先駆的な試みとして,人間の介入を必要とせず,事前エラーに耐性のあるBN学習戦略を提案する。 具体的には、正しい事前知識の大多数を維持しながら、オーダー逆誤差に抵抗する実質的な能力を強調します。
  論文  参考訳（メタデータ） (2023-06-12T11:24:48Z)
• Principled Knowledge Extrapolation with GANs [92.62635018136476]
  我々は,知識外挿の新たな視点から,対実合成を研究する。 本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。 提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
  論文  参考訳（メタデータ） (2022-05-21T08:39:42Z)
• Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
  稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。 パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。 自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
  論文  参考訳（メタデータ） (2022-03-24T01:09:46Z)
• Systematic Evaluation of Causal Discovery in Visual Model Based Reinforcement Learning [76.00395335702572]
  AIと因果関係の中心的な目標は、抽象表現と因果構造を共同で発見することである。 因果誘導を研究するための既存の環境は、複雑なタスク固有の因果グラフを持つため、この目的には適していない。 本研究の目的は,高次変数の学習表現と因果構造の研究を促進することである。
  論文  参考訳（メタデータ） (2021-07-02T05:44:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。