論文の概要: Token Maturation: Autoregressive Language Generation via Continuous Token Dynamics

• arxiv url: http://arxiv.org/abs/2601.04854v1
• Date: Thu, 08 Jan 2026 11:44:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.183254
• Title: Token Maturation: Autoregressive Language Generation via Continuous Token Dynamics
• Title（参考訳）: Token Maturation:Continuous Token Dynamicsによる自動回帰言語生成
• Authors: Oshri Naparstek,
• Abstract要約: 本稿では,複数の更新ステップにまたがる連続ベクトルとしてトークンが表現される言語生成の連続的自己回帰的定式化を導入する。 この成熟過程だけでは、決定論的復号法(argmax)を用いてコヒーレントで多様なテキストを生成するのに十分であることを示す。 力学や履歴の平滑化のような追加の摂動は自然に組み込むことができるが、モデルが機能するためには必要ではない。
• 参考スコア（独自算出の注目度）: 0.7252027234425333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive language models are conventionally defined over discrete token sequences, committing to a specific token at every generation step. This early discretization forces uncertainty to be resolved through token-level sampling, often leading to instability, repetition, and sensitivity to decoding heuristics. In this work, we introduce a continuous autoregressive formulation of language generation in which tokens are represented as continuous vectors that \emph{mature} over multiple update steps before being discretized. Rather than sampling tokens, the model evolves continuous token representations through a deterministic dynamical process, committing to a discrete token only when the representation has sufficiently converged. Discrete text is recovered via hard decoding, while uncertainty is maintained and resolved in the continuous space. We show that this maturation process alone is sufficient to produce coherent and diverse text using deterministic decoding (argmax), without reliance on token-level sampling, diffusion-style denoising, or auxiliary stabilization mechanisms. Additional perturbations, such as stochastic dynamics or history smoothing, can be incorporated naturally but are not required for the model to function. To our knowledge, this is the first autoregressive language model that generates text by evolving continuous token representations to convergence prior to discretization, enabling stable generation without token-level sampling.
• Abstract（参考訳）: 自己回帰言語モデルは、通常、個々のトークンシーケンス上で定義され、生成ステップ毎に特定のトークンにコミットする。 この早期の離散化は、トークンレベルのサンプリングを通じて不確実性を解決させ、しばしば不安定性、繰り返し、そしてヒューリスティックの復号化に対する感度をもたらす。 本稿では,複数の更新ステップ上でトークンが連続ベクトルとして表現される言語生成の連続的自己回帰的定式化を導入する。 トークンをサンプリングする代わりに、モデルは決定論的ダイナミックなプロセスを通じて連続的なトークン表現を進化させ、表現が十分に収束した時にのみ離散トークンにコミットする。 離散テキストはハードデコードによって復元され、不確実性は連続空間で維持および解決される。 この成熟過程だけでは,トークンレベルサンプリング,拡散型復調,補助安定化機構に依存することなく,決定論的復号法(argmax)を用いてコヒーレントで多様なテキストを生成することができることを示す。 確率力学や歴史平滑化のような追加の摂動は自然に組み込むことができるが、モデルが機能するためには必要ではない。 我々の知る限り、これは離散化の前に連続トークン表現を収束させてテキストを生成する最初の自己回帰言語モデルであり、トークンレベルサンプリングなしで安定した生成を可能にする。

関連論文リスト

• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation [85.82112629564942]
  本稿では,離散トークンのモデリングをシンプルに保ちながら,連続トークンの強力な表現能力を維持するTokenBridgeを提案する。 本稿では,各特徴次元を独立に離散化し,軽量な自己回帰予測機構と組み合わせた次元ワイド量子化戦略を提案する。 提案手法は,標準的なカテゴリー予測を用いて,連続的手法と同等に再現および生成品質を実現する。
  論文  参考訳（メタデータ） (2025-03-20T17:59:59Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。