論文の概要: Single-Layer MeMo as a Randomized Hamming-Kernel Classifier

• arxiv url: http://arxiv.org/abs/2609.34562v1
• Date: Mon, 28 Sep 2026 08:16:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:21:44.641578
• Title: Single-Layer MeMo as a Randomized Hamming-Kernel Classifier
• Title（参考訳）: ランダム化ハミングカーネル分類器としての単層MeMo
• Abstract要約: MeMoは最近の言語モデルアーキテクチャで、トークンコンテキストと次のトークンの関係を相関行列メモリに格納する。 理想的な検索規則は, 位置ハミングカーネルに基づくマルチクラス分類器であることを示す。 制限されたWikiText-2の次のタスクでは、単一層MeMoと古典的なベースラインを比較し、予測精度、メモリ、スループットのトレードオフとして有用なものであることを示す。
• 参考スコア（独自算出の注目度）: 51.908606610432194
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: MeMo (Zanzotto et al., 2025) is a recent language-model architecture that stores associations between token contexts and next tokens in a correlation matrix memory. In this work, we study its single-layer form and show that its ideal retrieval rule is a multiclass classifier based on the positional Hamming kernel. The MeMo architecture represents both the sequence features and the output labels with Gaussian random codes. Its score is therefore a doubly randomized sketch of the ideal classifier. Under independent input and output codebooks, we bound the errors introduced by context sketching and output decoding, characterize their dependence on model and data parameters, and give a margin-based guarantee for recovering the ideal prediction. Controlled simulations support the trends predicted by the analysis. On a restricted WikiText-2 next-token task, we compare single-layer MeMo with classical baselines and show that it can offer a useful trade-off among predictive accuracy, memory, and throughput, particularly on a GPU, where its matrix operations can be parallelized.
• Abstract（参考訳）: MeMo (Zanzotto et al , 2025) は最近の言語モデルアーキテクチャであり、トークンコンテキストと次のトークンの関係を相関行列メモリに格納する。 本研究では,その単一層構造について検討し,その理想的な検索規則が位置ハミングカーネルに基づくマルチクラス分類器であることを示す。 MeMoアーキテクチャは、シーケンス特徴とガウス乱数符号による出力ラベルの両方を表現している。 したがって、そのスコアは理想分類器の二重ランダムなスケッチである。 独立した入力および出力コードブックの下で、コンテキストスケッチと出力復号によって導入されたエラーを境界にし、モデルおよびデータパラメータへの依存性を特徴付け、理想的な予測を回復するためのマージンベースの保証を与える。 制御されたシミュレーションは、分析によって予測される傾向を支持する。 制限されたWikiText-2の次のタスクでは、単一層MeMoと古典的なベースラインを比較し、特に行列演算を並列化可能なGPU上で、予測精度、メモリ、スループットのトレードオフとして有用なものであることを示す。

関連論文リスト

• Encoding Numerical Data for Generative Quantum Machine Learning [0.820994582033002]
  実世界のデータは、しばしば数値であり、モデルがバイナリと連続表現を変換する必要がある。 我々は、データそのものとは無関係に、データのエンコード方法のアーチファクトである相関を学習するためにモデルが必要であることを示した。 本稿では,基本的にオーバーヘッドを伴わずに実装可能なグレイコードに基づく戦略を提案し,データ構造を保存し,標準アプローチが生成する状況において,人工的相関を回避する。
  論文  参考訳（メタデータ） (2026-03-24T16:39:58Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)
• Learning-Order Autoregressive Models with Application to Molecular Graph Generation [52.44913282062524]
  本稿では,データから逐次推定される確率的順序付けを用いて高次元データを生成するARMの変種を紹介する。 提案手法は,画像およびグラフ生成において有意義な自己回帰順序を学習できることを実験的に実証した。
  論文  参考訳（メタデータ） (2025-03-07T23:24:24Z)
• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は、言語モデル(LM)における多くの未理解の欠点と関連している。 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 本稿では,学習トークン分布と等価バイトレベル分布とのマッピングを確立するフレームワークであるByte-Token Representation Lemmaを紹介する。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
  本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。 TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。 また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• A Framework for Bidirectional Decoding: Case Study in Morphological Inflection [4.602447284133507]
  外部からシーケンスを復号するフレームワークを提案する。 各ステップで、モデルは左、右にトークンを生成するか、左と右のシーケンスを結合するかを選択します。 我々のモデルは2022年と2023年の共有タスクに最先端のSOTA(State-of-the-art)を設定し、それぞれ平均精度4.7ポイントと2.7ポイント以上で次の最高のシステムを上回った。
  論文  参考訳（メタデータ） (2023-05-21T22:08:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。