論文の概要: MultiHashFormer: Hash-based Generative Language Models

• arxiv url: http://arxiv.org/abs/2606.28057v1
• Date: Fri, 26 Jun 2026 13:03:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.488559
• Title: MultiHashFormer: Hash-based Generative Language Models
• Title（参考訳）: MultiHashFormer: ハッシュベースの生成言語モデル
• Abstract要約: ハッシュベースの自己回帰を可能にする新しいフレームワークであるMultiHashFormerを提案する。 ハッシュデコーダは次のトークンのハッシュシグネチャを生成し、それをテキストにマッピングする。 本モデルでは, パラメータフットプリントが一定である多言語語彙拡張を, 修正することなく処理できることが示される。
• 参考スコア（独自算出の注目度）: 32.20759503542573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models (LMs) represent tokens using embedding matrices that scale linearly with the vocabulary size. To constrain the parameter footprint, prior work proposes hashing many tokens into a single vector within encoder-only models. While this offers parameter efficiency, many-to-one collisions prevent its use in causal LMs. In this paper, we propose MultiHashFormer, a new framework that allows hash-based autoregression. Each token is represented as a unique hash signature, a short sequence of discrete hash IDs, generated by multiple independent hash functions. A Hash Encoder compresses this signature into a single latent vector for processing by a Transformer decoder. Then, a Hash Decoder generates the hash signature of the next token, which is then mapped back to text. We evaluate our approach at the 100M, 1B and 3B parameter scales, demonstrating that MultiHashFormer consistently outperforms standard Transformer LMs across multiple benchmarks. Furthermore, we show that our model handles multilingual vocabulary expansion with a constant parameter footprint without any modifications.
• Abstract（参考訳）: 言語モデル(LM)は、語彙サイズと線形にスケールする埋め込み行列を用いてトークンを表現する。 パラメータのフットプリントを制限するために、先行研究では、エンコーダのみのモデル内で多くのトークンを単一のベクトルにハッシュすることを提案した。 これはパラメータ効率を提供するが、多対一の衝突は因果LMでの使用を妨げている。 本稿では,ハッシュベースの自己回帰を可能にする新しいフレームワークであるMultiHashFormerを提案する。 各トークンは、複数の独立したハッシュ関数によって生成される独立したハッシュIDの短いシーケンスである、ユニークなハッシュシグネチャとして表現される。 Hash Encoderは、このシグネチャを1つの潜在ベクトルに圧縮し、Transformerデコーダで処理する。 その後、ハッシュデコーダが次のトークンのハッシュシグネチャを生成し、テキストにマップされる。 提案手法を100M, 1B, 3Bパラメータスケールで評価し,MultiHashFormerが標準のTransformer LMを複数のベンチマークで一貫して上回っていることを示す。 さらに, パラメータフットプリントが一定である多言語語彙拡張を, 修正することなく処理できることが示唆された。

関連論文リスト

• Beyond Post-Quantization: Native Hash Learning with a Dedicated HASH Token [20.81211439061764]
  HashViTは、ネイティブハッシュトークン学習のためのVision Transformerフレームワークである。 学習可能なセマンティックセンターの監督、クラストーケン類似度蒸留、量子化正規化を組み合わせた統一的な目的で最適化されている。 広く使用されている3つのベンチマークの実験は、HashViTが最先端または高い競争力のある検索性能を達成することを示した。
  論文  参考訳（メタデータ） (2026-07-03T13:46:18Z)
• SpikeHash: Learning Binary Codes with Spiking Neural Networks for Cross-Modal Hashing Retrieval [10.799183419959055]
  クロスモーダルハッシュ検索は、ハミング空間を効率的に探索するために、異種データをコンパクトなバイナリコードに符号化する。 スパイク状態の進化、方向スパイク相互作用、競合スパイクリードアウトとしてクロスモーダルハッシュを定式化する統合スパイクフレームワークであるSpikeHashを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:14:59Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• Nested Hash Layer: A Plug-and-play Module for Multiple-length Hash Code Learning [61.095479786194836]
  Nested Hash Layer (NHL) は、深い教師付きハッシュモデルのためのプラグイン・アンド・プレイモジュールである。 NHLは、複数の長さのハッシュコードをネスト構造で同時に生成する。 NHLは、様々な深層型ハッシュモデルに対して、トレーニング速度を約5～8倍に向上させる。
  論文  参考訳（メタデータ） (2024-12-12T04:13:09Z)
• ConceptHash: Interpretable Fine-Grained Hashing via Concept Discovery [128.30514851911218]
  ConceptHashは、サブコードレベルの解釈性を実現する新しい方法である。 ConceptHashでは、各サブコードは、オブジェクト部分のような人間の理解可能な概念に対応する。 学習したハッシュコードが、きめ細かいオブジェクトクラス内で識別可能であることを保証するために、言語ガイダンスを組み込んだ。
  論文  参考訳（メタデータ） (2024-06-12T17:49:26Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Object Recognition as Next Token Prediction [99.40793702627396]
  オブジェクト認識を次のトークン予測として提案する。 その考え方は、画像埋め込みからフォームラベルへのテキストトークンの自動回帰予測を行う言語デコーダを適用することである。
  論文  参考訳（メタデータ） (2023-12-04T18:58:40Z)
• HashFormers: Towards Vocabulary-independent Pre-trained Transformers [30.699644290131044]
  Transformerベースの事前訓練言語モデルは語彙に依存し、デフォルトで各トークンを対応する埋め込みにマッピングする。 本稿では,新しい語彙に依存しない事前学習型トランスであるHashFormersを提案する。
  論文  参考訳（メタデータ） (2022-10-14T15:39:34Z)
• Additive Feature Hashing [0.0]
  本稿では,ハッシュ値を加えて高次元の数値ベクトルに変換することで,付加的特徴ハッシュを直接実行可能であることを示す。 加法的特徴ハッシュ法の性能はハッシュ法と類似していることを示し, 合成, 言語認識, SMSスパム検出データを用いて数値的に結果を示す。
  論文  参考訳（メタデータ） (2021-02-07T23:15:04Z)
• Bio-Inspired Hashing for Unsupervised Similarity Search [12.78093617645299]
  本稿では,データ駆動方式で疎い高次元ハッシュコードを生成する新しいハッシュアルゴリズムBioHashを提案する。 我々の研究は、LSHが様々な生物学的システムにおけるスパース拡大モチーフの膨大さの計算的理由である可能性を示唆する証拠を提供する。
  論文  参考訳（メタデータ） (2020-01-14T17:04:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。