論文の概要: When the Canonical Completion Is Wrong: Formalizing and Measuring the Jump in Large Language Models
- arxiv url: http://arxiv.org/abs/2608.26187v1
- Date: Sat, 22 Aug 2026 19:46:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.111254
- Title: When the Canonical Completion Is Wrong: Formalizing and Measuring the Jump in Large Language Models
- Title(参考訳): 正準完了が間違っているとき--大規模言語モデルにおける跳躍の形式化と測定
- Abstract要約: 4つのステップでジャンプを公式に説明し、2番目のステップを測る。
ジャンプインスタンスが十分に仮定されていることを証明し、列挙なしで非有界な難題を証明したファミリー定理を確立する。
- 参考スコア(独自算出の注目度): 35.912785213250864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Whether large language models (LLMs) can perform the abductive leap from evidence to a new system of axioms, commonly referred to as a jump, has recently attracted considerable debate. A prominent position holds that LLMs are structurally incapable of such jumps, while recent studies challenge both its mechanism and its evidence. However, the debate remains difficult to settle, since the field still lacks a formal definition of the jump and a measure to test either side. In this paper, we develop a formal account of the jump in four steps and measure the second. The steps ask what the default completion of partial data is, when abandoning it is forced, when the abandonment is correct, and how successive jumps compound. Specifically, we define a jump instance as a finite extension problem with a machine-checked certificate that a correct completion exists, is unique up to renaming, and differs from the canonical completion of the data. The canonical completion is given by the left and right Kan extensions and is also what models produce without constraints, so it serves as the default. We prove that jump instances are well-posed and establish a family theorem that certifies instances of unbounded difficulty without enumeration. We further formalize when a jump is correct and how successive jumps compound. Finally, we run the measurement on nine certified instances and four frontier models. The Kan-default rate is zero in all 248 constrained trials, so the models do jump at this step and abandon the excluded default every time. Failures at higher difficulty stem from exhausted reasoning budgets or constraint errors, never from reverting to the default. These results indicate that the second step is not the bottleneck. If the disputed incapacity is real, it lies in generating the constraints or inventing the framework. Code can be found at: https://github.com/EEthanShi/kan-jump-test.
- Abstract(参考訳): 大型言語モデル (LLMs) が証拠から新しい公理系への帰納的な飛躍を達成できるかどうかについては、最近かなりの議論がおこなわれている。
LLMはそのようなジャンプが構造的に不可能である一方で、最近の研究ではそのメカニズムと証拠の両方に挑戦している。
しかし、フィールドにはジャンプの形式的な定義と、どちらの側でもテストする手段がないため、議論は解決し難いままである。
本稿では,ジャンプを4ステップで公式に説明し,第2ステップを計測する。
ステップは、部分データのデフォルトの完了が何か、それを放棄する時、放棄が正しいとき、そして、どのように連続したジャンプ複体なのかを問う。
具体的には、ジャンプインスタンスを、正しい完了が存在し、リネームまでユニークであり、データの標準完了と異なるマシンチェック証明書を持つ有限拡張問題として定義する。
標準補完は、左右のKan拡張によって与えられ、モデルが制約なしで生成するものでもあるため、デフォルトとして機能する。
ジャンプインスタンスが十分に仮定されていることを証明し、列挙なしで非有界な難題を証明したファミリー定理を確立する。
ジャンプが正しいときにさらに公式化し、連続するジャンプコンプレックスを定式化する。
最後に、認定された9つのインスタンスと4つのフロンティアモデルで測定を実行します。
Kan-defaultレートは248の制限されたすべてのトライアルでゼロであるため、このステップでモデルがジャンプし、除外されたデフォルトを毎回放棄する。
高い難易度での失敗は、予算の浪費や制約エラーによるものであり、決してデフォルトに戻らない。
これらの結果は、2番目のステップがボトルネックではないことを示している。
議論されている非能力が本物なら、それは制約を生成したり、フレームワークを発明することにあります。
コードは、https://github.com/EEthanShi/kan-jump-test.comで参照できる。
関連論文リスト
- Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores [31.709549159768727]
多様な推論ベンチマーク間で一貫した読み出しギャップを観察する。
隠れ状態プローブは、ネイティブシークエンススコアが完全に崩壊しても正解を復号することに成功した。
以上の結果から,無作為な内部論理を隠蔽する表現障害が明らかにゼロショット推論の欠点であることが明らかとなった。
論文 参考訳(メタデータ) (2026-08-31T16:43:55Z) - Understanding Why Language Models Hallucinate: Testing Reasoning Against Priors [11.702863087019809]
大規模言語モデルは、しばしば即時レベルの制約に反する幻覚的な答えを生成する。
推測ミスアライメント(inference misalignment):プロンプトが支持する回答と統計的に有意な潜在的協会が支持する回答のミスマッチについて検討する。
我々は、この見解を遅延キータスクモデルで定式化し、事前学習周波数の不均衡がショートカットパスを生じさせ、制約に敏感な経路を支配させる。
論文 参考訳(メタデータ) (2026-07-01T05:02:43Z) - How Language Models Fail: Token-Level Signatures of Committed and Persistent Reasoning Failures [21.666726162280696]
言語モデル推論の失敗は、識別可能なシグネチャを推論トレースに残す異なるプロセスを通して現れる。
1つ目は、モデルがそのトレースの早い段階で間違った推論パスにロックされる、コミット失敗である。
第二に、持続的な不確実性は、その代わりに至るところに蓄積され、完全なトレースは、失敗と成功した完了を最もよく区別するために必要である。
論文 参考訳(メタデータ) (2026-06-04T18:36:42Z) - LEAP: Supercharging LLMs for Formal Mathematics with Agentic Frameworks [85.86474267842907]
大規模言語モデル(LLM)は、強力な非公式な数学的推論を示すが、リーンのような形式言語で検証可能な証明を生成するのに苦労している。
本稿では,汎用基礎モデルによる自動形式定理証明の最先端性能を実現するためのエージェントフレームワークであるLEAPを提案する。
論文 参考訳(メタデータ) (2026-06-02T08:16:42Z) - AI Knows What's Wrong But Cannot Fix It: Helicoid Dynamics in Frontier LLMs Under High-Stakes Decisions [51.56484100374058]
ヘリコイド力学(Helicoid dynamics)は、その2番目のドメインの特定の障害状態に与えられる名前である。
システムは巧みに働き、エラーに陥り、何がうまくいかなかったかを正確に名付け、さらに高度な技術で同じパターンを再現する。
この先進的な事例シリーズは、7つの主要なシステムにまたがる体制を文書化する。
論文 参考訳(メタデータ) (2026-03-12T05:25:49Z) - Attention Deficits in Language Models: Causal Explanations for Procedural Hallucinations [0.0]
正しい値がコンテキストに存在する場合でも、検証可能な、即席の仕様を実行することの失敗について検討する。
具体的には、失敗はStage2A(ゲート)エラーに分解され、モデルが応答モードに入らなかったり、Stage2B(バインディング)エラーに分解される。
論文 参考訳(メタデータ) (2026-02-22T15:43:41Z) - Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。
我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。
幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
論文 参考訳(メタデータ) (2026-02-04T18:39:58Z) - Valid Stopping for LLM Generation via Empirical Dynamic Formal Lift [6.908972852063454]
シーケンシャルEDFLは、シーケンシャルベースラインに対して22~28%生成を減少させる。
EDFLは第1段階のフィルタとして機能し、検証負荷を83%削減する。
論文 参考訳(メタデータ) (2025-10-07T21:28:53Z) - Towards Solving More Challenging IMO Problems via Decoupled Reasoning and Proving [48.22540519786074]
最近の研究では、非公式な精度は80%を超え、公式な成功はPutnamBenchのようなベンチマークで8%以下である。
低レベルの証明生成から高レベルの推論を分離する新しいフレームワークを提案する。
提案手法は,2000年以降のIMO問題に対して,従来のオープンソース証明者が未報告の課題として評価した。
論文 参考訳(メタデータ) (2025-07-07T22:38:49Z) - Excluding false negative error in certification of quantum channels [68.8204255655161]
この研究は、たとえ偽陽性の確率が増大しても、偽陰誤差が起こらないシナリオに焦点を当てる。
量子チャネルに対する有限数のクエリの後に、偽の負の誤りを並列に排除できる条件を確立する。
論文 参考訳(メタデータ) (2021-06-04T09:41:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。