論文の概要: BitLM: Unlocking Multi-Token Language Generation with Bitwise Continuous Diffusion

• arxiv url: http://arxiv.org/abs/2605.11577v1
• Date: Tue, 12 May 2026 06:02:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.616082
• Title: BitLM: Unlocking Multi-Token Language Generation with Bitwise Continuous Diffusion
• Title（参考訳）: BitLM: Bitwise Continuous Diffusionによるマルチトークン言語生成のアンロック
• Authors: Shaobin Zhuang, Yuang Ai, Jiaming Han, Xiaohui Li, Huaibo Huang, Xiangyu Yue, Xuefeng Hu, Kun Xu, Yali Wang, Hao Chen,
• Abstract要約: BitLMは、各トークンを固定長バイナリコードとして表現する言語モデルである。 大語彙のソフトマックスをビットワイズデノイングに置き換えることで、BitLMはトークン生成をコンパクトなバイナリ空間における反復的なコミットメントとして再設定する。
• 参考スコア（独自算出の注目度）: 47.110252169791075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive language models generate text one token at a time, yet natural language is inherently structured in multi-token units, including phrases, n-grams, and collocations that carry meaning jointly. This one-token bottleneck limits both the expressiveness of the model during pre-training and its throughput at inference time. Existing remedies such as speculative decoding or diffusion-based language models either leave the underlying bottleneck intact or sacrifice the causal structure essential to language modeling. We propose BitLM, a language model that represents each token as a fixed-length binary code and employs a lightweight diffusion head to denoise multiple tokens in parallel within each block. Crucially, BitLM preserves left-to-right causal attention across blocks while making joint lexical decisions within each block, combining the reliability of autoregressive modeling with the parallelism of iterative refinement. By replacing the large-vocabulary softmax with bitwise denoising, BitLM reframes token generation as iterative commitment in a compact binary space, enabling more efficient pre-training and substantially faster inference without altering the causal foundation that makes language models effective. Our results demonstrate that the one-token-at-a-time paradigm is not a fundamental requirement but an interface choice, and that changing it can yield a stronger and faster language model. We hope BitLM points toward a promising direction for next-generation language model architectures.
• Abstract（参考訳）: 自動回帰言語モデルは一度に1つのトークンをテキストとして生成するが、自然言語は本質的に、フレーズ、n-gram、コロケーションなど、複数のトークン単位で構成されている。 この一点のボトルネックは、事前トレーニング中のモデルの表現力と、推論時のスループットの両方を制限する。 投機的復号化や拡散に基づく言語モデルのような既存の治療法は、根底にあるボトルネックをそのまま残すか、言語モデリングに不可欠な因果構造を犠牲にする。 本稿では,各トークンを固定長バイナリコードとして表現する言語モデルBitLMを提案する。 重要なことは、BitLMはブロック間の左から右への因果的注意を保ちながら、各ブロック内の連接的な語彙決定を行い、自己回帰モデリングの信頼性と反復的洗練の並列性を組み合わせたものである。 BitLMは、大語彙のソフトマックスをビット単位のデノーミングに置き換えることで、トークン生成をコンパクトなバイナリ空間における反復的なコミットメントとして再設定し、言語モデルを効果的にするための因果基盤を変更することなく、より効率的な事前学習と実質的に高速な推論を可能にする。 本稿の結果から,1-token-at-a-timeパラダイムは基本的な要件ではなくインターフェースの選択であり,その変更によってより強く,より高速な言語モデルが得られることが示された。 BitLMが次世代の言語モデルアーキテクチャにとって有望な方向に向かっていることを願っています。

関連論文リスト

• MaDiS: Taming Masked Diffusion Language Models for Sign Language Generation [78.75809158246723]
  本稿では,SLGのためのマスク付き拡散型言語モデルであるMaDiSについて述べる。 また,トークン・ラテント・ヘアリング・3次元空間の目的から共同で学習する3段階のクロスモーダル事前学習手法を導入する。 MaDiSはDTWエラーと新たに導入された2つのメトリクスであるSiBLEUとSiCLIPを含む複数のメトリクスで優れたパフォーマンスを実現し、推論レイテンシを30%近く削減している。
  論文  参考訳（メタデータ） (2026-01-27T13:06:47Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning [23.58934174168992]
  Autoregressive (AR)言語モデルでは、テキストを1つずつ生成することで、推論速度が制限される。 ハードセグメンテーションなしでデコードウインドウを狭める正規化法である畳み込み復号法(Conv)を提案する。 Rejecting Rule-based Fine-Tuning (R2FT)も導入しています。
  論文  参考訳（メタデータ） (2025-09-18T17:48:21Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• Retrofitting Large Language Models with Dynamic Tokenization [3.608780819053423]
  現在の言語モデル(LM)は固定された静的なサブワードトークン化器を使用する。 このデフォルトの選択は一般的に、特に英語以外の言語において、効率と言語能力の低下をもたらす。 入力テキストに基づいてトークン境界を動的に決定する手法として,動的トークン化を用いたLMの再構成を提案する。
  論文  参考訳（メタデータ） (2024-11-27T17:51:58Z)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
  本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。