論文の概要: From Tokens to States: LLMs as a Special Case of World Models and the Continuous Path Beyond

• arxiv url: http://arxiv.org/abs/2606.28127v1
• Date: Fri, 26 Jun 2026 14:27:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.513627
• Title: From Tokens to States: LLMs as a Special Case of World Models and the Continuous Path Beyond
• Title（参考訳）: トークンから国家へ:世界モデルと連続的パスの特別な事例としてのLLM
• Abstract要約: AIコミュニティは、大きな言語モデル(LLM)と世界モデルとの関係を二分法として表している。 本稿では,一般知能に到達するには,潜在空間アーキテクチャを優先して自己回帰的トークン予測を放棄する必要があると論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The AI community has framed the relationship between large language models (LLMs) and world models as a dichotomy: LLMs predict tokens; world models simulate reality. Yann LeCun argues in 2022 that reaching general intelligence requires abandoning autoregressive token prediction in favour of latent-space architectures. This framing is unnecessarily binary. Two claims will be defended. First, LLMs are a degenerate special case of world models: the state space is the set of all token sequences, the only action is appending one token, and world models are therefore a strict generalisation of LLMs, not a replacement. Second, there is a natural continuous spectrum from NTP to JEPA, with multi-token prediction, future-summary prediction, and next-latent prediction as intermediate stations already populated by current research. Moving along this spectrum relaxes the LLM constraints one by one. It also progressively surrenders the two practical advantages that make LLMs trainable at scale: internet-scale self-supervised data, and a transformer architecture co-designed for discrete token prediction. Both are examined as open research questions: the data question (the cliff from self-supervised text to instrumented action-labelled environments) and the architecture question (whether the transformer generalises to continuous-state prediction, or whether a new primitive is needed).
• Abstract（参考訳）: AIコミュニティは、大きな言語モデル(LLM)と世界モデルとの関係を、二分法として捉えている: LLMはトークンを予測し、世界モデルは現実をシミュレートする。 Yann LeCunは2022年に、汎用知性に到達するには、潜在空間アーキテクチャを支持するために自己回帰トークン予測を放棄する必要があると論じている。 このフレーミングは必然的にバイナリです。 2つの主張が守られる。 状態空間は全てのトークン列の集合であり、唯一のアクションは1つのトークンを付加することであり、世界モデルは置き換えではなく、LSMの厳密な一般化である。 第2に、NTPからJEPAへの自然な連続スペクトルがあり、現在の研究で既に占められている中間局として、マルチトークンの予測、将来的な予測、および次世代の予測がある。 このスペクトルに沿って移動すると、LSMの制約は1つずつ緩和される。 また、インターネットスケールの自己管理データと、離散トークン予測のために共同設計されたトランスフォーマーアーキテクチャという、LLMを大規模にトレーニング可能にする2つの実用的な利点を徐々に放棄する。 データ質問(自己監督されたテキストから計測されたアクションラベル付き環境への崖)とアーキテクチャの問題(トランスフォーマーが連続状態予測に一般化するかどうか、新しいプリミティブが必要かどうか)である。

関連論文リスト

• Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
  本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。 潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。 これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
  論文  参考訳（メタデータ） (2026-05-26T22:16:42Z)
• ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model [53.15040805435013]
  視覚言語モデル(VLM)は、一様にサンプリングされたフレームを解析することで、強力なセマンティックグラウンドと一般的な知識を提供する。 本稿では,高密度フレーム・ダイナミックス・モデリングと長軸意味指導を組み合わせたVLM誘導型JEPA型潜在世界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-23T17:59:42Z)
• What am I missing here?: Evaluating Large Language Models for Masked Sentence Prediction [2.8514881296685113]
  Next Token Prediction (NTP)は、モデルを事前計画したり、長距離コヒーレンスを維持する能力を制限する。 マスケ文予測(MSP)における3つの商用LCMの評価 我々の重要な発見は、商業LLMが、他のタスクにおいて最上級のパフォーマンスにもかかわらず、低構造領域におけるマスキング文の予測に不適であることを明らかにしている。
  論文  参考訳（メタデータ） (2025-08-11T07:25:50Z)
• Demystifying Singular Defects in Large Language Models [61.98878352956125]
  大規模言語モデル(LLM)では、ハイノームトークンの根本原因は未解明のままである。 理論的な洞察と経験的検証の両方を、近年のモデルで提供します。 量子化方式の改良とLCMシグネチャの設計の2つの実用的応用について述べる。
  論文  参考訳（メタデータ） (2025-02-10T20:09:16Z)
• Predicting Emergent Capabilities by Finetuning [98.9684114851891]
  微調整された言語モデルでは,出現頻度の低いモデルに展開するスケーリングのポイントをシフトできることがわかった。 提案手法は4つの標準NLPベンチマークを用いて検証する。 いくつかのケースでは、最大4倍の計算でトレーニングされたモデルが出現したかどうかを正確に予測できる。
  論文  参考訳（メタデータ） (2024-11-25T01:48:09Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• LLMs are Not Just Next Token Predictors [0.0]
  LLMは、次のトークン予測目標を持つ勾配降下による言語学習の統計モデルである。 LLMは次のトークン予測を用いて設計され、このタスクの成功に基づいてトレーニングされていますが、次のトークン予測器への還元はLLMを短く販売する、というのが私たちの見解です。 これを引き出すため、遺伝子の観点から進化と発達を説明する生物学におけるかつての著名な研究プログラムと類似する。
  論文  参考訳（メタデータ） (2024-08-06T16:36:28Z)
• Transcormer: Transformer for Sentence Scoring with Sliding Language Modeling [95.9542389945259]
  文スコアリングは文の可能性を測ることを目的としており、多くの自然言語処理シナリオで広く使われている。 文スコアリングのための新しいテキストスライディング言語モデリング(SLM)を備えたトランスフォーマーモデルであるtextitTranscormerを提案する。
  論文  参考訳（メタデータ） (2022-05-25T18:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。