Fugu-MT 論文翻訳(概要): Do Language Models Need a Trainable Input Embedding Table? Fixed Minimal Token Codes at 1.7B-Class Scale

論文の概要: Do Language Models Need a Trainable Input Embedding Table? Fixed Minimal Token Codes at 1.7B-Class Scale

arxiv url: http://arxiv.org/abs/2610.04002v1
Date: Fri, 02 Oct 2026 20:06:37 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-12 21:06:57.367424
Title: Do Language Models Need a Trainable Input Embedding Table? Fixed Minimal Token Codes at 1.7B-Class Scale
Title（参考訳）: 学習可能な入力埋め込みテーブルは必要か? 1.7B級の最小トークン符号を固定
Abstract要約: トレーニング可能な入力埋め込みテーブルは、各語彙項目を独立に調整可能なベクトルに割り当てる。本稿では,このトークン固有のパラメータ化が言語モデリング能力に必須かどうかを検討する。我々は、スクラッチからトレーニングされた3つのデコーダのみの言語モデルと、同じトークン化器を比較した。
参考スコア（独自算出の注目度）: 1.0152838128195467
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A trainable input embedding table assigns each vocabulary item an independently adjustable vector. We investigate whether this token-specific parameterization is required for substantial language-modeling capability, or whether a shared Transformer can learn from fixed token identities. We compare three decoder-only language models trained from scratch with the same tokenizer, contextual backbone, untied output-head architecture, and training recipe, with a target budget of 100 billion prediction tokens per model. Their input interfaces are a learned table, canonical 16-bit token-ID codes, and one fixed invertible recoding over GF(2). The fixed codes are repeated to model width without an additional trainable input projection. Both fixed-code models acquire substantial capabilities: canonical codes achieve 52.40\% HellaSwag normalized accuracy, 70.51\% PIQA accuracy, and 42.75\% LAMBADA accuracy. The learned-input control performs better on several evaluations, including HellaSwag and LAMBADA, so these results establish viability rather than performance parity. The fixed interfaces remove 100.7 million trainable parameters, yielding 1.711B-parameter models, but parameter reduction is not the central result. These single-run experiments distinguish architectural necessity from empirical utility: independently trainable token-specific input vectors are not required for the observed capabilities. A fixed identity interface also provides a controlled setting for studying representation learning downstream of an immutable input, without establishing where particular capabilities are localized.
Abstract（参考訳）: トレーニング可能な入力埋め込みテーブルは、各語彙項目を独立に調整可能なベクトルに割り当てる。本稿では,このトークン固有のパラメータ化が言語モデリング能力に必要か,あるいは共有トランスフォーマーが固定トークンの同一性から学習できるかを検討する。我々は、スクラッチからトレーニングされた3つのデコーダのみの言語モデルを、同じトークン化器、コンテキストバックボーン、未処理の出力ヘッドアーキテクチャ、トレーニングレシピと、モデル毎の予測トークンの目標予算とを比較した。入力インタフェースは、学習テーブル、標準16ビットのトークン-ID符号、GF(2)上の固定可逆復号である。固定符号は、追加の訓練可能な入力プロジェクションなしでモデル幅に繰り返される。標準符号は52.40 % HellaSwag の正規化精度、70.51 % PIQA の精度、42.75 % LAMBADA の精度である。学習入力制御は、HellaSwag や LAMBADA など、いくつかの評価においてより良い結果が得られるため、これらの結果により、性能の同等性よりも、生存性を確立することができる。固定インターフェースは170万のトレーニング可能なパラメータを除去し、1.711Bパラメーターモデルを生成するが、パラメータ還元は中心的な結果ではない。独立に訓練可能なトークン固有の入力ベクトルは、観測能力には必要ではない。固定IDインタフェースはまた、特定の機能がローカライズされる場所を確立することなく、不変入力の下流で表現学習を研究するための制御された設定を提供する。

関連論文リスト

TokEval: A Tokenizer Evaluation Suite [18.651247109977362]
TokEvalはトークン化評価指標のフレームワークである。制御言語モデル事前学習実験を行う。結果のモデルをビット単位のバイト単位で評価する。
論文参考訳（メタデータ） (2026-08-18T17:52:52Z)
Prototype Language Models [32.76699413390825]
プロトタイプ言語モデルは、学習されたプロトタイプのスパースで非負の混合によって、それぞれの予測を形成する。スパースプロトタイプ構造は、損失ランドスケープの曲率を局所化し、よりトラクタブルなヘッセンとなることを示す。
論文参考訳（メタデータ） (2026-07-01T06:45:02Z)
Language Models Without a Trainable Input Embedding Table: Learning from Fixed Minimal Binary Token Codes [1.0152838128195467]
通常のトレーニング可能な$Vtimes d_textmodel$ input Embedding matrixを最小限のバイナリトークンコードに置き換える。また,トークンIDをオンザフライで生成する完全テーブルフリーの変種も評価した。約17Bトークンでトレーニングされた32層デコーダのみのモデルにマッチする。
論文参考訳（メタデータ） (2026-05-10T21:00:03Z)
Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。右列桁のグルーピングは、大数の算術を+33%向上させる。
論文参考訳（メタデータ） (2025-06-23T18:02:26Z)
Language Models over Canonical Byte-Pair Encodings [56.09166157337198]
トークンレベルの言語モデルにおいて、正準性を強制する手法を提案する。正則性ミスの修正は,いくつかのモデルやコーパスの保持データの可能性を向上させることを示す。
論文参考訳（メタデータ） (2025-06-09T17:26:14Z)
Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
論文参考訳（メタデータ） (2025-05-27T03:47:33Z)
Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
トークン化は、言語モデル(LM)における多くの未理解の欠点と関連している。本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。本稿では,学習トークン分布と等価バイトレベル分布とのマッピングを確立するフレームワークであるByte-Token Representation Lemmaを紹介する。
論文参考訳（メタデータ） (2024-10-11T23:30:42Z)
Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
論文参考訳（メタデータ） (2023-11-30T13:22:15Z)
Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
論文参考訳（メタデータ） (2021-09-30T16:41:19Z)
Segatron: Segment-Aware Transformer for Language Modeling and Understanding [79.84562707201323]
本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。 WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
論文参考訳（メタデータ） (2020-04-30T17:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。