論文の概要: Learning Representations through Token Prediction: Geometry, Approximation, and Downstream Guarantees
- arxiv url: http://arxiv.org/abs/2608.30072v1
- Date: Sun, 30 Aug 2026 22:33:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.171936
- Title: Learning Representations through Token Prediction: Geometry, Approximation, and Downstream Guarantees
- Title（参考訳）: トークン予測による表現の学習:幾何学,近似,下流保証
- Abstract要約: トークン予測は、現代の言語モデルにとって、トレーニング前の中心的な目的である。
我々は,トークン予測と表現幾何学,エンコーダ近似,下流性能を結びつける統計フレームワークを開発した。
- 参考スコア（独自算出の注目度）: 6.750611816045116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Token prediction is a central pre-training objective for modern language models. Despite its empirical success, why token prediction learns broadly useful representations remains incompletely understood. We develop a statistical framework connecting token prediction with representation geometry, encoder approximation, and downstream performance. Under a softmax prediction head, we show that accurate token prediction organizes token embeddings according to similarities between the distributions of contexts in which different token types appear, as measured by Hellinger distance, with explicit errors governed by prediction accuracy and token frequency. Meanwhile, the contextual representation provides a low-dimensional coordinate for the conditional distribution of the target token relative to these embeddings. We further introduce a self-consistency principle showing that repeated applications of a shared representation block can progressively refine the contextual representation without introducing additional block parameters. Among representations with the same prediction accuracy, this recurrent construction favors those that can be stably reconstructed from their contexts. Finally, we establish downstream guarantees for token generation, token community recovery, and classification by a linear probe, showing how prediction accuracy and recovered geometry translate into performance beyond the pre-training objective. Together, these results explain how the simple objective of predicting tokens can recover semantic geometry and produce broadly useful representations. A controlled simulation illustrates the theoretical mechanisms.
- Abstract（参考訳）: トークン予測は、現代の言語モデルにとって、トレーニング前の中心的な目的である。
実証的な成功にもかかわらず、なぜトークン予測が広く有用な表現を学ぶのかは、まだ完全には理解されていない。
我々は,トークン予測と表現幾何学,エンコーダ近似,下流性能を結びつける統計フレームワークを開発した。
ソフトマックス予測ヘッドの下では, 異なるトークンタイプが出現するコンテキストの分布と, 予測精度とトークン頻度に支配される明示的なエラーとの類似性に基づいて, 正確なトークン予測がトークン埋め込みを整理することを示す。
一方、文脈表現は、これらの埋め込みに対する目標トークンの条件分布に対する低次元座標を提供する。
さらに、共有表現ブロックの繰り返し適用により、追加のブロックパラメータを導入することなく、文脈表現を段階的に洗練できることを示す自己整合原理を導入する。
同じ予測精度の表現の中で、この再帰的な構成は、そのコンテキストから安定に再構成できるものを好む。
最後に, トークン生成, トークンコミュニティ回復, 線形プローブによる分類の下流保証を確立し, 予測精度と復元幾何が, 事前学習対象を超える性能にどのように変換されるかを示す。
これらの結果は、トークン予測の単純な目的が意味的幾何学を回復し、広く有用な表現を生成する方法を説明する。
制御されたシミュレーションは理論的なメカニズムを示している。
関連論文リスト
- Grid-World Representations in Transformers Reflect Predictive Geometry [0.0]
次世代予測器は、しばしば潜伏世界の内部表現とその規則を発達させる。
ランダムウォークの正確な分布からサンプリングしたベクトルに対してデコーダのみの変換器を訓練する。
モデルと層をまたいで、学習された表現は基底真実の予測ベクトルと強く一致し、しばしば低次元である。
単純化された玩具システムで実証されているが、最適予測を支持する接頭辞表現は、ニューラルネットワークが文法やその他の構造的制約を内部化する方法を研究する上で有用なレンズとなる可能性がある。
論文 参考訳（メタデータ） (2026-03-17T15:47:33Z) - Depth-Wise Emergence of Prediction-Centric Geometry in Large Language Models [1.0742675209112622]
本稿では,デコーダのみの大規模言語モデルが,文脈処理から予測生成段階への遷移を示すことを示す。
幾何学的解析と機械的介入を組み合わせた統一的な枠組みを用いて,遅延層表現がトークン予測を選択的に因果制御できる構造的幾何符号を実装していることを示す。
論文 参考訳（メタデータ） (2026-02-04T11:00:16Z) - Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation [85.82112629564942]
本稿では,離散トークンのモデリングをシンプルに保ちながら,連続トークンの強力な表現能力を維持するTokenBridgeを提案する。
本稿では,各特徴次元を独立に離散化し,軽量な自己回帰予測機構と組み合わせた次元ワイド量子化戦略を提案する。
提案手法は,標準的なカテゴリー予測を用いて,連続的手法と同等に再現および生成品質を実現する。
論文 参考訳（メタデータ） (2025-03-20T17:59:59Z) - I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。
本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
論文 参考訳（メタデータ） (2025-03-12T01:21:17Z) - The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
トークン化は、NLPパイプラインにおける重要なステップである。
NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。
本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
論文 参考訳（メタデータ） (2024-07-16T11:12:28Z) - TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。
TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。
また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
論文 参考訳（メタデータ） (2024-05-27T05:45:51Z) - Computational Tradeoffs in Image Synthesis: Diffusion, Masked-Token, and Next-Token Prediction [79.78050867137594]
拡散、マスク付きトーケン予測、および次のトーケン予測はすべてトランスフォーマーネットワークアーキテクチャを使用する。
FLOPで測定された計算予算のレンズを用いて,各手法のスケーラビリティを解析する。
次点予測によって導かれるトークン予測手法は, 後続のプロンプト上での拡散率を著しく上回ることがわかった。
論文 参考訳（メタデータ） (2024-05-21T21:49:39Z) - Predictive Inference with Feature Conformal Prediction [80.77443423828315]
本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。
理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。
提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
論文 参考訳（メタデータ） (2022-10-01T02:57:37Z) - Bayesian Graph Contrastive Learning [55.36652660268726]
本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。
提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。
いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2021-12-15T01:45:32Z) - Aligned Contrastive Predictive Coding [10.521845940927163]
対照的予測損失を用いて訓練された自己監督モデルが、ゆっくりと変化する潜在表現を抽出する可能性を研究する。
将来の表現ごとに個別の予測を生成するのではなく、モデルはそれらが整列する次の表現よりも短い一連の予測を出力する。
論文 参考訳（メタデータ） (2021-04-24T13:07:22Z) - Latent Representation Prediction Networks [0.0]
満足できない表現を学習するこの原則を見いだす。
本稿では,この表現を予測関数とともに学習する新しい方法を提案する。
提案手法は, 標準強化学習法よりもサンプリング効率がよいことを示す。
論文 参考訳（メタデータ） (2020-09-20T14:26:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。