論文の概要: Matryoshka Hash Representations for Model-Aware Compact Semantic Retrieval

• arxiv url: http://arxiv.org/abs/2609.07276v1
• Date: Mon, 07 Sep 2026 09:38:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.404543
• Title: Matryoshka Hash Representations for Model-Aware Compact Semantic Retrieval
• Title（参考訳）: モデル対応コンパクトセマンティック検索のためのマトリオシュカハッシュ表現
• Abstract要約: マトリオシュカ・ハッシュ表現(MHR)は,前置組織から全幅トレーニングを分離する2段階の手順である。 MHRは.5561 NDCG@10と.6535 Recall@100を32バイトに到達し、同じ予算で最高のベースラインを超えた。 このコードはまた、2つの一般的なパイプラインを強化している: 完全精度の再ランクの候補をショートリストし、低ストレージグラフインデックスをプルーニングする。
• 参考スコア（独自算出の注目度）: 0.4859781642217615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) depends on dense retrieval: each document is stored as a learned vector, and a query is answered by finding its nearest neighbors in that vector space. Keeping one full-precision vector per document is the dominant index cost at corpus scale, so retrieval systems replace each vector with a short code of a few bytes---a step called quantization. Standard quantizers such as product quantization (PQ) pick the code that reconstructs the original vector most closely. A single code is even more useful if it serves several byte budgets at once: when its short prefixes are each directly searchable, a deployment can set its efficiency--quality operating point without re-encoding the corpus. But training all prefixes under one objective makes the early bits a compromise across budgets---short codes improve while the full-width code degrades. Quantization to low-bit representation, such as binary codes, further sharpens the conflict. We introduce Matryoshka Hash Representations (MHR), a two-stage procedure that separates full-width training from prefix organization. MHR first learns a longer binary code, then freezes the model and trains additional zero-initialized residual code adaptors for directly searchable prefixes. Documents are stored at one bit per coordinate, while queries keep continuous logits like PQ to attain sufficient expressivity. We implement the search process with FAISS FastScan. Trained on MS MARCO and zero-shot transferred to seven BEIR datasets, MHR reaches .5561 NDCG@10 and .6535 Recall@100 at 32 bytes, surpassing the best baseline of the same budget. The advantage is more pronounced in lower budgets. The same code also strengthens two common pipelines: shortlisting candidates for full-precision reranking, and pruning a low-storage graph index such as LEANN.
• Abstract（参考訳）: 各文書は学習ベクトルとして格納され、そのベクトル空間に最も近い隣人を見つけることでクエリが答えられる。 文書ごとの完全精度ベクトルを1つ保持することは、コーパススケールにおける支配的なインデックスコストであり、検索システムは、各ベクトルを数バイトの短いコードに置き換える。これは、量子化と呼ばれるステップである。製品量子化(PQ)のような標準的な量子化器は、元のベクトルを最も密接に再構築するコードを選択する。一度に複数のバイトの予算を提供する場合、単一のコードは、その短いプレフィックスが直接検索可能であれば、コーパスを再エンコードすることなく、その効率品質の高い操作ポイントを設定することができる。 しかし、すべてのプレフィックスを1つの目的の下でトレーニングすることは、初期ビットを予算間で妥協させます。 バイナリコードなどの低ビット表現への量子化は、競合をさらに鋭くする。 マトリオシュカ・ハッシュ表現(MHR)は,前置組織から全幅トレーニングを分離する2段階の手順である。 MHRはまず長いバイナリコードを学習し、その後モデルを凍結し、直接検索可能な接頭辞のためのゼロ初期化残留コードアダプタを訓練する。 ドキュメントは座標毎に1ビットに格納され、クエリはPQのような連続的なログを保持して十分な表現性を得る。 FAISS FastScanで検索処理を実装した。 MS MARCOで訓練され、7つのBEIRデータセットに転送されたゼロショットで、MHRは32バイトで.5561 NDCG@10と.6535 Recall@100に達する。 その利点は低予算でより顕著である。 同じコードは2つの一般的なパイプラインを強化している: 完全精度の再ランクの候補をショートリストし、LEANNのような低ストレージグラフインデックスをプルーニングする。

関連論文リスト

• Fractal KV-Cache Archives: Lossless Symbolic Storage with In-Place Retrieval for Long-Context LLM Inference [0.0]
  キー値(KV)キャッシュは、長文の自動回帰推論のメモリコストを支配している。 我々は、位置のKV状態がコードブックインデックスに量子化されると、結果のシンボルストリームを格納する方法を研究する。 記号列を低次元実ベクトルの列にシリアライズする縮約反復写像の族を再検討する。
  論文  参考訳（メタデータ） (2026-07-08T08:37:49Z)
• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• Efficient and Scalable Provenance Tracking for LLM-Generated Code Snippets [3.5312864406384485]
  コード補完と生成のための大規模言語モデル(LLM)は、冗長で権威の帰属のないトレーニング例を再現することができる。 Winnowingのような指紋認証に基づく古典的な指紋認証は依然として有効である。 コード検索に適した300M-パラメータエンコーダと,ハイブリッドな2段階のプロファイランス追跡パイプラインを導入する。
  論文  参考訳（メタデータ） (2026-05-27T14:12:17Z)
• Hierarchical Embedding Fusion for Retrieval-Augmented Code Generation [6.4453302264198165]
  コード補完のためのリポジトリ表現のための2段階のアプローチである階層埋め込み融合(HEF)を提案する。 HEFはスニペットベースの検索ベースラインに匹敵する正確なマッチング精度を達成する。 グラフベースおよび反復検索システムと比較して、HEFは中央値のエンドツーエンドのレイテンシを13倍から26倍に削減する。
  論文  参考訳（メタデータ） (2026-02-04T14:56:11Z)
• FaTRQ: Tiered Residual Quantization for LLM Vector Search in Far-Memory-Aware ANNS Systems [16.221654013698963]
  FaTRQは、ストレージから完全なベクトルを取り出す必要をなくす、メモリを意識した改良システムである。 カスタムアクセラレータはCXL Type-2デバイスにデプロイされ、ローカルで低遅延リファインメントを実行する。 FaTRQは、ストレージ効率を2.4$times$で改善し、スループットをSOTA GPU ANNSシステムよりも最大9$$で改善する。
  論文  参考訳（メタデータ） (2026-01-15T01:59:29Z)
• Qinco2: Vector Compression and Search with Improved Implicit Neural Codebooks [23.598010051403225]
  QINCo2は,BigANNの16バイトベクトル圧縮では34%,Deep1Mでは8バイトエンコーディングでは24%の検索精度向上を実現している。 ベクトル圧縮のためのQINCo2と、数十億近い近接探索のための4つのデータセットの実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T15:20:22Z)
• SECRET: Towards Scalable and Efficient Code Retrieval via Segmented Deep Hashing [83.35231185111464]
  ディープラーニングは、検索パラダイムを語彙ベースのマッチングから、ソースコードとクエリをベクトル表現にエンコードした。 従来の研究では、クエリやコードスニペットのハッシュコードを生成し、ハミング距離を使ってコード候補を高速にリコールするディープハッシュベースの手法が提案されている。 提案手法は,既存の深層ハッシュ法によって計算された長いハッシュコードを,反復的学習戦略により複数の短いハッシュコードセグメントに変換する手法である。
  論文  参考訳（メタデータ） (2024-12-16T12:51:35Z)
• Turning Trash into Treasure: Accelerating Inference of Large Language Models with Token Recycling [24.04649159686283]
  投機的復号化(英: Speculative decoding)は、推測と検証のパラダイムを通じて推論を加速するアプローチである。 トケンリサイクルは、候補トークンを隣接行列に格納し、幅優先探索アルゴリズムを用いる。 既存の列車なしの手法を30%上回り、広く認められた訓練方法さえも25%上回っている。
  論文  参考訳（メタデータ） (2024-08-16T12:20:56Z)
• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)
• Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
  最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。 これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。 本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
  論文  参考訳（メタデータ） (2024-02-06T18:59:30Z)
• Tackling Long Code Search with Splitting, Encoding, and Aggregating [67.02322603435628]
  長いコード検索のための新しいベースラインSEA(Split, Encode, Aggregate)を提案する。 長いコードをコードブロックに分割し、これらのブロックを埋め込みにエンコードし、それらを集約して包括的な長いコード表現を得る。 エンコーダとしてGraphCodeBERTを使用すると、SEAはコードSearchNetベンチマークでGraphCodeBERTよりも10.1%高い0.785という総合的な平均逆ランキングスコアを達成する。
  論文  参考訳（メタデータ） (2022-08-24T02:27:30Z)
• Faster Person Re-Identification [68.22203008760269]
  本稿では,新しいハッシュコード検索戦略を定式化することによって,高速ReIDのための新しいソリューションを提案する。 より短いコードを使用して、より正確なReIDのいくつかのトップ候補を洗練するために、より広い一致の類似性を粗くランク付けし、より長いコードを使用する。 2つのデータセットに対する実験結果から,提案手法(CtF)は現在のハッシュReID法よりも8%精度が高いだけでなく,5倍高速であることがわかった。
  論文  参考訳（メタデータ） (2020-08-16T03:02:49Z)
• Pruning Neural Belief Propagation Decoders [77.237958592189]
  本稿では,機械学習を用いたBPデコードに対して,過剰完全パリティチェック行列を調整する手法を提案する。 我々は,デコーダの複雑さを低減しつつ,0.27dB,1.5dBのML性能を実現する。
  論文  参考訳（メタデータ） (2020-01-21T12:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。