論文の概要: HHR: Hierarchical Hash Retrieval for Efficient LLM Generation

• arxiv url: http://arxiv.org/abs/2610.01230v1
• Date: Thu, 01 Oct 2026 07:31:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.967576
• Title: HHR: Hierarchical Hash Retrieval for Efficient LLM Generation
• Title（参考訳）: HHR:効率的なLLM生成のための階層型ハッシュ検索
• Abstract要約: Hierarchical Hash Retrieval (HHR)は、Geometry-Aware Key Routing (GKR)とLearred Hash Projection (LHP)による検索精度を向上させる粗大なフレームワークである。 HHRは偽陽性を抑え、偽陰性を回復し、ハッシュベースのスパースアテンションの忠実度を大幅に改善する。
• 参考スコア（独自算出の注目度）: 17.454336649454078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient long-context inference is essential for large language models (LLMs), yet it poses a severe computational bottleneck. Hash-based retrieval offers an efficient alternative by encoding queries and keys into binary codes and using Hamming distance for key selection. However, this leads to a critical mismatch between Hamming distance and attention relevance. Query-Key logits depend jointly on directional similarity and feature magnitudes, whereas hash binarization discards magnitude information, causing both false-positive retrieval of low-logit keys and false-negative omission of high-logit keys. To address these failures, we propose Hierarchical Hash Retrieval (HHR), a coarse-to-fine framework that progressively improves retrieval accuracy through Geometry-Aware Key Routing (GKR) and Learned Hash Projection (LHP). GKR learns a head-wise orthogonal transformation to redistribute feature magnitudes and derive more discriminative page-level logit bounds, enabling effective pruning of low-logit keys while preserving important candidates. LHP then learns a head-wise projection space that aligns Hamming distance with the true Query-Key relevance ranking for fine-grained retrieval. By combining GKR and LHP, HHR suppresses false positives and recovers false negatives, substantially improving the fidelity of hash-based sparse attention. Extensive experiments across diverse LLMs and benchmarks demonstrate that HHR achieves superior performance over existing methods. For example, on LongBench, HHR improves the average score by 1.10 points and, at a context length of 128K, achieves up to a 3.30x decoding speedup and a 2.83x end-to-end speedup for Llama-3.1-8B-Instruct. The code is publicly available at https://github.com/lianjunl13-sudo/HHR.
• Abstract（参考訳）: 大規模言語モデル(LLM)には効率的な長文推論が不可欠であるが、計算のボトルネックが深刻である。 ハッシュベースの検索は、クエリとキーをバイナリコードにエンコードし、鍵選択にハミング距離を使用する、効率的な代替手段を提供する。 しかし、これはハミング距離と注意関係の重大なミスマッチに繋がる。 クエリキーのロジットは方向の類似度と特徴量に大きく依存するが、ハッシュバイナライゼーションは大きさ情報を破棄し、低ログキーの偽陽性検索と高ログキーの偽陰性削除の両方を引き起こす。 これらの障害に対処するために,Geometry-Aware Key Routing (GKR) と Learned Hash Projection (LHP) を用いて,検索精度を段階的に向上する階層型ハッシュ検索(HHR)を提案する。 GKRは、特徴量を再分割する頭部直交変換を学習し、より差別的なページレベルのロジット境界を導出し、重要な候補を保ちながら、ロジットキーの効果的なプルーニングを可能にする。 その後、LHPは、ハンミング距離と真のクエリキー関連度ランキングとを一致させて、きめ細かい検索を行うヘッドワイドプロジェクション空間を学習する。 GKRとLHPを組み合わせることで、HHRは偽陽性を抑制し、偽陰性を回復し、ハッシュベースのスパースアテンションの忠実度を大幅に改善する。 多様なLLMおよびベンチマークにわたる大規模な実験により、HHRは既存の手法よりも優れた性能を発揮することが示された。 例えば、LongBenchでは、HHRは平均スコアを1.10ポイント改善し、コンテキスト長128Kでは、Llama-3.1-8Bインストラクトの3.30倍のデコードスピードアップと2.83倍のエンドツーエンドスピードアップを達成する。 コードはhttps://github.com/lianjunl13-sudo/HHRで公開されている。

関連論文リスト

• Spotlight Attention: Towards Efficient LLM Generation via Non-linear Hashing-based KV Cache Retrieval [67.21678698740267]
  本研究では,クエリやキーの埋め込み分布を最適化するために,非線形ハッシュ関数を利用する新しい手法であるSpotlight Attentionを紹介する。 また、Bradley-Terryランキングに基づく損失を利用して、軽量で安定したトレーニングフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-08-27T10:11:27Z)
• Learn from the Past: Fast Sparse Indexing for Large Language Model Decoding [7.142158555793151]
  大規模言語モデル(LLM)は、より長いコンテキストをサポートし続ける。 復号化時のキーバリューキャッシュのメモリ需要は急速に増大する。 スパースアテンション機構は、選択されたキー値対に対してのみ注意重みを計算することでこの問題を軽減する。 既存の方法は、各デコードステップを独立したプロセスとして扱うことが多い。 本研究では,過去の注目パターンに基づいて,スパースインデックス化候補を動的に構築する高速化手法LFPSを提案する。
  論文  参考訳（メタデータ） (2025-05-30T02:35:59Z)
• SECRET: Towards Scalable and Efficient Code Retrieval via Segmented Deep Hashing [83.35231185111464]
  ディープラーニングは、検索パラダイムを語彙ベースのマッチングから、ソースコードとクエリをベクトル表現にエンコードした。 従来の研究では、クエリやコードスニペットのハッシュコードを生成し、ハミング距離を使ってコード候補を高速にリコールするディープハッシュベースの手法が提案されている。 提案手法は,既存の深層ハッシュ法によって計算された長いハッシュコードを,反復的学習戦略により複数の短いハッシュコードセグメントに変換する手法である。
  論文  参考訳（メタデータ） (2024-12-16T12:51:35Z)
• Reinforcing Short-Length Hashing [61.75883795807109]
  既存の手法は、非常に短いハッシュコードを用いた検索性能が劣っている。 本研究では, 短寿命ハッシュ(RSLH)を改良する新しい手法を提案する。 本稿では,ハッシュ表現とセマンティックラベルの相互再構成を行い,セマンティック情報を保存する。 3つの大規模画像ベンチマークの実験は、様々な短いハッシュシナリオ下でのRSLHの優れた性能を示す。
  論文  参考訳（メタデータ） (2020-04-24T02:23:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。