論文の概要: Hashrope: A Persistent Data Structure for Mechanisms of LLM Context Management
- arxiv url: http://arxiv.org/abs/2610.16144v1
- Date: Mon, 12 Oct 2026 04:05:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 07:26:03.008585
- Title: Hashrope: A Persistent Data Structure for Mechanisms of LLM Context Management
- Title(参考訳): Hashrope: LLMコンテキスト管理のメカニズムのための永続データ構造
- Abstract要約: 4つ全てが、すべてのノードがそのサブツリーのハッシュをメルセンヌ素数上に持つ1つの持続的重み付けロープに還元されることが示される。
編集をIDクエリとインターリーブするワークロードでは、Hashropeはバウンダリなしで成長する要因によって、Ropeyに優越している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Serving stacks for large language models manage context through four recurring mechanisms: incremental edits to a growing context, branching and snapshotting for tree search, identification of reusable prefixes for KV-cache reuse, and encoding of repeated segments. Each mechanism is served today by a different specialist structure. We show that all four reduce to a single persistent weight-balanced rope whose every node carries a polynomial hash of its subtree over a Mersenne prime, so that the structure supports logarithmic edits and logarithmic verified content-identity queries at the same time. We validate each mechanism with pre-registered, replicated experiments, then compare against a deployed specialist per mechanism: the Ropey editing library, a faithful PagedAttention copy-on-write block table, and the vendored SGLang radix matcher. On workloads that interleave edits with identity queries, Hashrope is net-superior to Ropey by a factor that grows without bound (369.7x at one million characters). Against the radix matcher on a live vLLM stack serving Qwen2.5-7B-Instruct-1M on four A100 GPUs, Hashrope identifies a one-million-token shared prefix exactly and 1.20x faster, at a context length the dense engine cannot even prefill.
- Abstract(参考訳): 拡大するコンテキストへのインクリメンタルな編集、ツリー検索のためのブランチとスナップショット、KV-cache再利用のための再利用可能なプレフィックスの識別、繰り返しセグメントのエンコーディングである。
それぞれのメカニズムは今日、異なる専門的な構造によって提供されます。
各ノードがメルセンヌ素数上の部分木の多項式ハッシュを持つ1つの持続的重みバランスロープに還元されることを示し、この構造は対数編集と対数検証された内容同一性クエリを同時にサポートする。
我々は,各メカニズムを事前登録,複製した実験で検証し,そのメカニズムごとにデプロイされたスペシャリストと比較する。
編集とIDクエリをインターリーブするワークロードでは、HashropeはRopeyよりも、バウンドなしで成長する(369.7倍、100万文字)。
4つのA100 GPU上でQwen2.5-7B-Instruct-1Mを提供するライブのvLLMスタック上のラジックスマッチングに対して、Hashropeは100万トーケンの共有プレフィックスを正確に1.20倍高速に識別する。
関連論文リスト
- Improving Long-Context Retrieval with Multi-Prefix Embedding [64.08968715893504]
Multi-Prefix Embeddingは、ドキュメントをEOSトークンで区切られたチャンクに分割し、完全なシーケンスを単一の因果フォワードパスにエンコードし、各プレフィックス境界に1つの埋め込みを抽出する。
MPEはクロスチャンクコンテキストを保持し、チャンクレベルのMaxSimマッチングを可能にし、ドキュメントレベルの関連ラベルのみをトレーニングする。
論文 参考訳(メタデータ) (2026-06-22T17:31:02Z) - Fractional Verkle Trees: A Hypertree Decomposition and Verified Proof Serialization Architecture for High-Performance Blockchain State Accumulators [0.0]
We present Fractional Verkle Trees (FVT), a hypertree serialization decomposition global state into N independent sub-accumulator coordinateed by a Merkle commitment tree。
Apple M1 Proのベンチマークでは、ヒープ割り当ての57%(566,760から242,004バイト/10K$)、並列挿入は2,433 ns/op、ネットワーク全体では6000のフルノードで1年4.85PBである。
論文 参考訳(メタデータ) (2026-06-15T07:16:07Z) - No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。
ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
論文 参考訳(メタデータ) (2026-05-28T15:53:34Z) - Multi-Vector Index Compression in Any Modality [73.7330345057813]
後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。
インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。
AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
論文 参考訳(メタデータ) (2026-02-24T18:57:33Z) - Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation [22.803751188961865]
検索は類似性マッチングを超えて移動し、代わりに潜在コンポーネントを操作するべきだと我々は主張する。
我々は、無傷ユニットの階層を構築し、検索可能な高レベルノード組織を維持するxMemoryを提案する。
論文 参考訳(メタデータ) (2026-02-02T12:04:58Z) - cAST: Enhancing Code Retrieval-Augmented Generation with Structural Chunking via Abstract Syntax Tree [39.50252992647112]
大規模コード生成にはRAG(Retrieval-Augmented Generation)が不可欠である。
我々の研究は、検索強化されたコードインテリジェンスをスケールする上で、構造対応のチャンキングの重要性を強調している。
論文 参考訳(メタデータ) (2025-06-18T17:31:51Z) - Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls [83.89771461061903]
検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。
検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。
意味論的に等価なコンテンツを持つ冗長な状態による$textitover-Exploration$と、検証器のスコアリングにおける高いばらつきに起因する$textitunder-Exploration$である。
各種木探索アルゴリズムに適合するフレキシブルなプラグアンドプレイシステムであるFETCHを提案する。
論文 参考訳(メタデータ) (2025-02-16T16:12:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。