論文の概要: Distilling Token-Trained Models into Byte-Level Models

• arxiv url: http://arxiv.org/abs/2602.01007v1
• Date: Sun, 01 Feb 2026 04:16:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.524725
• Title: Distilling Token-Trained Models into Byte-Level Models
• Title（参考訳）: マイクロレベルモデルへの蒸留トケンモデルの適用
• Authors: Zishuo Bao, Jiaqi Leng, Junxiong Wang, Bowen Peng, Yucheng Lu,
• Abstract要約: バイトコード言語モデル(BLM)は、トークン化を超えて言語モデルをスケールするための有望な方向として登場した。 既存のBLMは1兆バイトのバイトをゼロからトレーニングする必要があるため、非常に高価である。 本稿では,既存のトークン学習型LCMをBLMに変換しつつ,同等の機能を維持しながら効率よく蒸留法を提案する。
• 参考スコア（独自算出の注目度）: 16.418597104895245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Byte Language Models (BLMs) have emerged as a promising direction for scaling language models beyond tokenization. However, existing BLMs typically require training from scratch on trillions of bytes, making them prohibitively expensive. In this paper, we propose an efficient distillation recipe that converts existing token-trained LLMs into BLMs while retaining comparable capabilities. Our recipe follows a two-stage curriculum: (1) Progressive Knowledge Distillation, which aligns byte-level representations with the embeddings of the token-trained teacher model; and (2) Byte-Level Supervised Fine-Tuning, which enables end-to-end generation entirely in the byte space. We validate our approach across multiple model families, including Llama, Qwen, and OLMo, and demonstrate that the distilled BLMs retain most of the teacher models' performance using only approximately 125B bytes.
• Abstract（参考訳）: バイトコード言語モデル(BLM)は、トークン化を超えて言語モデルをスケールするための有望な方向として登場した。 しかし、既存のBLMは、通常、数兆バイトのバイトをゼロからトレーニングする必要があるため、違法に高価である。 本稿では,既存のトークン学習用LLMをBLMに変換するとともに,同等の機能を維持した効率的な蒸留法を提案する。 本稿では,(1) バイトレベルの表現をトークン学習した教師モデルの埋め込みと整合させるプログレッシブ・ナレッジ・蒸留,(2) バイト・レベル・スーパービジョン・ファイン・チューニング,(2) バイト空間内でのエンド・ツー・エンド生成を可能にする。 Llama, Qwen, OLMo など複数のモデルファミリにまたがるアプローチを検証し, 蒸留した BLM が約125B バイトしか使用していないことを実証した。

関連論文リスト

• KaLM-Embedding: Superior Training Data Brings A Stronger Embedding Model [27.25688303240741]
  KaLM-Embeddingは、よりクリーンで、より多様な、ドメイン固有のトレーニングデータを活用する一般的な多言語埋め込みモデルである。 我々のモデルは、性能を向上させることが証明された重要な技術で訓練されている。
  論文  参考訳（メタデータ） (2025-01-02T03:17:51Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [72.68665884790002]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 本稿では,教師モデルの頑健な表現を視覚的,言語的両面で伝達するために,MDist(Multimodal Distillation)を導入する。 また,提案した蒸留戦略の可能性をフル活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• ULLME: A Unified Framework for Large Language Model Embeddings with Generation-Augmented Learning [72.90823351726374]
  我々は,LLM間の双方向の注目を可能にする,柔軟でプラグアンドプレイな実装であるLULME(Unified framework for Large Language Model Embedding)を紹介した。 また,テキスト埋め込みタスクのLLMを向上する新しい微調整手法であるGRL(Generation-augmented Representation Learning)を提案する。 フレームワークの柔軟性と有効性を示すために、異なるバックボーンアーキテクチャを持つULLMEから事前訓練された3つのモデルをリリースする。
  論文  参考訳（メタデータ） (2024-08-06T18:53:54Z)
• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• Code Representation Learning At Scale [75.04686476303436]
  2段階の事前学習スキームを用いて,大量のコードデータを用いてコード表現学習を行う。 まず、マスキング言語モデリングにおけるランダム性と、プログラミング言語の構造的側面の両方を活用して、エンコーダを訓練する。 そして、教師なしの方法で強陰性かつ強正に構築された対照的な学習を通して表現を強化する。
  論文  参考訳（メタデータ） (2024-02-02T22:19:15Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training [49.47516627019855]
  w2v-BERTは、コントラスト学習と事前教師付き音声認識を組み合わせたフレームワークである。 実験の結果,w2v-BERTは現在の最先端の事前訓練モデルと比較して,競争力のある結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-08-07T06:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。