論文の概要: When Is Next-Token Prediction Useful? Marginalization, Ergodicity, Mixture Identifiability, Local Sufficiency, RAG, Tools, and Programming

• arxiv url: http://arxiv.org/abs/2605.23278v1
• Date: Fri, 22 May 2026 06:34:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.226589
• Title: When Is Next-Token Prediction Useful? Marginalization, Ergodicity, Mixture Identifiability, Local Sufficiency, RAG, Tools, and Programming
• Title（参考訳）: 次世代予測はいつ有効か? 婚姻、エルゴディディティ、混合識別性、局所充足性、RAG、ツール、プログラミング
• Authors: Francesco Corielli,
• Abstract要約: モデルトレーニングを限界テキストのみの法則の推定と解釈するには、定常性、代表性、エルゴディダリティの強い仮定が必要である、と論文は主張する。 本論文は、検索拡張生成(RAG)と、条件付き充足装置としてのツールの使用を解釈する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Language models trained on observed sequences are often described as learning the conditional distribution of the next token given previous tokens. This description is only conditionally correct. A model trained on realized token trajectories does not observe full conditional laws; it receives sampled continuations. Moreover, real language generation is conditioned not only on previous words but also on non-textual circumstances: facts, events, intentions, goals, beliefs, social context, and task-specific constraints. This paper distinguishes three objects that are often conflated: the full conditional language process conditioned on latent circumstances, the marginal text-only process obtained by integrating those circumstances out, and the model-induced distribution learned from finite observed corpora. The paper argues that interpreting model training as estimating the marginal text-only law requires strong assumptions of stationarity, representativeness, and ergodicity, assumptions that are standard in statistical estimation but problematic when applied to heterogeneous language corpora. Even if these assumptions hold, the marginal text-only law is useful only when the observed prefix is an approximately sufficient statistic for the latent circumstances relevant to continuation. In information-theoretic terms, usefulness requires that the residual conditional mutual information between the next token and the omitted circumstances, given the observed text, be small. The paper then extends this argument to heterogeneous training corpora. Finally, the paper interprets Retrieval Augmented Generation (RAG) and tool use as conditional sufficiency devices.
• Abstract（参考訳）: 観測シーケンスに基づいて訓練された言語モデルは、しばしば以前のトークンに与えられた次のトークンの条件分布を学ぶものとして記述される。 この記述は条件付きでのみ正しい。 実現されたトークン軌跡に基づいて訓練されたモデルは、完全な条件付き法則を観察しない。 さらに、実際の言語生成は、過去の言葉だけでなく、事実、出来事、意図、目標、信念、社会的文脈、タスク固有の制約といった非テクスチュアルな状況でも条件付けられている。 本稿では, 潜伏状況に条件付き完全条件付き言語プロセス, それらの状況を統合して得られた限界テキストのみのプロセス, 有限観測コーパスから得られたモデル誘起分布の3つの対象を区別する。 モデルトレーニングを限界テキストのみの法則の推定として解釈するには、統計的推定において標準的な仮定であるが、異種言語コーパスに適用した場合に問題となるような、定常性、代表性、エルゴード性の強い仮定が必要である、と論じる。 これらの仮定が成り立つとしても、境界テキストのみの法則は、観察された接頭辞が継続に関連する潜伏状況に対してほぼ十分な統計量である場合にのみ有用である。 情報理論の用語では、観測されたテキストが与えられた場合、次のトークンと省略された状況の間の残条件の相互情報は小さくなければならない。 論文は、この議論を異種訓練コーパスに拡張する。 最後に,Retrieval Augmented Generation (RAG) を解釈し,条件付充足装置として使用する。

関連論文リスト

• Failure of contextual invariance in gender inference with large language models [0.143494686131174]
  最小で理論上は非形式的な言論コンテキストを導入し、モデル出力の大規模かつ体系的な変化を引き起こすことを発見した。 文化性ステレオタイプとの相関関係は、文脈が導入されたら、文脈が弱まるか、あるいは消える。 コンテキスト・バイ・Default分析により、モデル全体で19～52%のケースにおいて、この依存が持続することが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-24T17:52:22Z)
• Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge [50.009682083079205]
  我々は,文脈的リコールが単独で事前学習から生じるかどうかを検討する。 ICL評価とは異なる暗黙的推論を必要とするタスクの微調整は、文脈的リコールの出現を誘発することを示す。 メカニカル・インサイト(メカニカル・インサイト)では,現実から文脈への遷移を再現するアテンションオンリー・トランスフォーマーの構成を導出する。
  論文  参考訳（メタデータ） (2026-03-21T22:46:55Z)
• QUITE: Quantifying Uncertainty in Natural Language Text in Bayesian Reasoning Scenarios [15.193544498311603]
  本稿では,カテゴリー的確率変数と複雑な関係を持つ実世界のベイズ推論シナリオのデータセットであるQUITEを提案する。 我々は幅広い実験を行い、論理ベースのモデルが全ての推論型において、アウト・オブ・ボックスの大規模言語モデルより優れていることを発見した。 以上の結果から,ニューロシンボリックモデルが複雑な推論を改善する上で有望な方向であることを示す。
  論文  参考訳（メタデータ） (2024-10-14T12:44:59Z)
• The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
  トークン化は、NLPパイプラインにおける重要なステップである。 NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。 本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
  論文  参考訳（メタデータ） (2024-07-16T11:12:28Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
  In-context Learning の出現における事前学習分布の役割について検討した。 本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。 我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-11-03T09:12:33Z)
• Extract, Denoise, and Enforce: Evaluating and Predicting Lexical Constraints for Conditional Text Generation [31.341566859483056]
  現在のPLMが入力に重要な概念を保存するのに十分であるかどうかを研究するために条件生成の体系的な分析を提示する。 本稿では,制約のない世代に比較して,自動制約抽出,デノベーション,実施の枠組みを提案する。
  論文  参考訳（メタデータ） (2021-04-18T05:29:02Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• Modeling Preconditions in Text with a Crowd-sourced Dataset [17.828175478279654]
  本稿では,ニュースワイヤにおけるイベントペア間の事前条件のクラウドソースアノテーションであるPeKoを紹介する。 前提条件のモデル化を目的とした2つの課題タスクも導入する。 両方のタスクの評価は、今日の大規模言語モデルでさえ、事前条件のモデリングが困難であることを示している。
  論文  参考訳（メタデータ） (2020-10-06T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。