論文の概要: Modular Linear Tokenization (MLT)

• arxiv url: http://arxiv.org/abs/2510.25952v1
• Date: Wed, 29 Oct 2025 20:52:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.567745
• Title: Modular Linear Tokenization (MLT)
• Title（参考訳）: MLT(Modular Linear Tokenization)
• Authors: Tcharlies Schmitz,
• Abstract要約: 本稿では,高次心性カテゴリ識別子をコンパクトな数値ベクトルに符号化する可逆的・決定論的手法として,MLT(Modular Linear Tokenization)を提案する。 MovieLens 20Mデータセットの実験結果は、MLTが教師付き埋め込みに匹敵する予測性能を達成していることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces Modular Linear Tokenization (MLT), a reversible and deterministic technique for encoding high-cardinality categorical identifiers into compact numerical vectors. Unlike traditional hashing or one-hot encodings, MLT preserves bijective mappings by leveraging modular arithmetic over finite fields and invertible linear transformations. The method offers explicit control of dimensionality and computational scalability while maintaining full reversibility, even for millions of identifiers. Experimental results on the MovieLens 20M dataset show that MLT achieves comparable predictive performance to supervised embeddings while requiring significantly fewer parameters and lower training cost. An open-source implementation of MLT is available on PyPI (https://pypi.org/project/light-mlt/) and GitHub (https://github.com/tcharliesschmitz/light-mlt).
• Abstract（参考訳）: 本稿では,高次心性カテゴリ識別子をコンパクトな数値ベクトルに符号化する可逆的・決定論的手法として,MLT(Modular Linear Tokenization)を提案する。 従来のハッシュやワンホットの符号化とは異なり、MLTは有限体上のモジュラー算術と可逆線型変換を利用して、単射写像を保存する。 この手法は、数百万の識別子に対しても、完全な可逆性を保ちながら、次元と計算のスケーラビリティを明確に制御する。 MovieLens 20Mデータセットの実験結果は、MLTが教師付き埋め込みに匹敵する予測性能を達成し、パラメータを著しく削減し、トレーニングコストを低減していることを示している。 MLTのオープンソース実装は、PyPI (https://pypi.org/project/light-mlt/)とGitHub (https://github.com/tcharliesschmitz/light-mlt)で利用可能である。

関連論文リスト

• Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
  本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。 提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
  論文  参考訳（メタデータ） (2025-10-23T20:19:48Z)
• Scaling Probabilistic Circuits via Monarch Matrices [109.65822339230853]
  確率回路(PC)は確率分布の抽出可能な表現である。 そこで本研究では,PCの和ブロックに対する新しいスパースパラメータと構造化パラメータ化を提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:39:15Z)
• ProcrustesGPT: Compressing LLMs with Structured Matrices and Orthogonal Transformations [0.0]
  大規模言語モデル(LLM)は、自然言語処理タスクにおいて印象的な結果を示す。 構造行列表現は、これらのモデルのパラメータの数を減らすための有望な方法である。 重み行列の特定の変換の下で LLM の出力が不変であるという事実を利用する。 この洞察を利用して、構造化クラス内の重みの圧縮性を大幅に向上させる変換を特定できる。
  論文  参考訳（メタデータ） (2025-06-03T12:47:23Z)
• Quantizing Large Language Models for Code Generation: A Differentiated Replication [51.85505914274633]
  大規模言語モデル(LLM)は、コード生成において印象的な能力を示しており、特に自然言語で記述された要求を自動的に実装する。 LLMはメモリ(そして結果として炭素)のフットプリントに重大な課題をもたらす。 LLM量子化の新しいフロンティアは4ビット精度であり、平均メモリフットプリントが70%減少する。
  論文  参考訳（メタデータ） (2025-03-10T09:26:08Z)
• SpecHub: Provable Acceleration to Multi-Draft Speculative Decoding [28.76164449548306]
  MDSD(Multi-Draft Speculative Decoding)は、より小さなドラフトモデルを用いて複数のトークンシーケンスを生成することで、有望なソリューションを提供する。 線形計算オーバーヘッドのみで受け入れ率を向上するMDSDの新しい,効率的なサンプリング検証手法であるSpecHubを提案する。
  論文  参考訳（メタデータ） (2024-11-08T02:47:07Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Transcoders Find Interpretable LLM Feature Circuits [1.4254279830438588]
  サブレイヤを通して回路解析を行うためにトランスコーダを用いる新しい手法を提案する。 120M, 410M, 1.4Bパラメータを持つ言語モデル上でトランスコーダを訓練し, 疎さ, 忠実さ, 人間の解釈可能性の観点から, 少なくともSAEに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T17:49:00Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。