論文の概要: Clark Hash: Stateless Sparse Johnson-Lindenstrauss Quantization for Neural Embeddings

• arxiv url: http://arxiv.org/abs/2605.28034v1
• Date: Wed, 27 May 2026 06:38:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.808171
• Title: Clark Hash: Stateless Sparse Johnson-Lindenstrauss Quantization for Neural Embeddings
• Title（参考訳）: Clark Hash氏: ニューラルネットワークのためのステートレススパースJohnson-Lindenstrauss量子化
• Authors: Stanislav Kirdey, Clark Labs Inc,
• Abstract要約: クラーク・ハッシュ(Clark Hash)は、少ない空間で神経埋め込みを保存するための小さな方法である。 各データベースベクトルを正規化し、ジョンソン・リンデンシュトラウス射影に署名された決定論的スパースを適用し、結果をクリップし、固定幅スカラー量子化されたコードを保存する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Clark Hash is a small method for storing neural embeddings in less space. It normalizes each database vector, applies a deterministic sparse signed Johnson-Lindenstrauss projection, clips the result, and stores a fixed-width scalar-quantized code. Queries stay in floating point and are scored against the stored sketches. In the default 384-dimensional sentence-embedding setting, Clark Hash stores a cosine-search vector in 48 bytes instead of 1536 bytes for dense f32 storage. This is 32x smaller. The method does not need a training pass, learned codebooks, rotations, or corpus statistics before new vectors can be stored. We describe the codec, the Rust implementation, and a multilingual sentence-similarity evaluation on 9,304 labeled pairs from 29 subsets. With a multilingual MiniLM encoder, the 48-byte sketches reached 0.910 and 0.946 macro Pearson correlation with dense cosine scores on STS17 and STS22. Clark Hash is not a new Johnson-Lindenstrauss theorem and it is not a replacement for approximate nearest-neighbor indexes. It is a simple stateless codec for compact embedding storage.
• Abstract（参考訳）: クラーク・ハッシュ(Clark Hash)は、少ない空間で神経埋め込みを保存するための小さな方法である。 各データベースベクトルを正規化し、ジョンソン・リンデンシュトラウス射影に署名された決定論的スパースを適用し、結果をクリップし、固定幅スカラー量子化されたコードを保存する。 クエリは浮動小数点に留まり、格納されたスケッチに対して得点される。 デフォルトの384次元文埋め込み設定では、クラーク・ハッシュは密度の高いf32記憶のために1536バイトではなく48バイトのコサイン探索ベクトルを格納する。 これは32倍小さい。 この方法は、新しいベクトルを格納する前に、トレーニングパス、学習されたコードブック、ローテーション、コーパス統計を必要としない。 コーデック、Rustの実装、29個のサブセットの9,304個のラベル付きペアに対する多言語文類似性の評価について説明する。 マルチリンガルのMiniLMエンコーダでは、48バイトのスケッチはSTS17とSTS22のコサインスコアと0.910と0.946のマクロピアソン相関に達した。 クラーク・ハッシュは新しいジョンソン・リンデンシュトラウスの定理ではなく、近傍のほぼ指数の置き換えではない。 これは、コンパクトな埋め込みストレージのための単純なステートレスコーデックである。

関連論文リスト

• Beyond the Geometric Curse: High-Dimensional N-Gram Hashing for Dense Retrieval [0.0]
  NUMENは、学習プロセスを削除することで、次元ボトルネックを破る。 LIMITベンチマークでは、NUMENは93.90%のRecall@100を32,768次元で達成している。 これにより、BM25ベースライン93.6%を公式に超えた最初の密集した検索モデルとなった。
  論文  参考訳（メタデータ） (2026-01-21T17:26:55Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• R1-Compress: Long Chain-of-Thought Compression via Chunk Compression and Search [61.4807238517108]
  CoT(Chain-of-Thought)推論は、ステップバイステップの問題解決を可能にすることで、大きな言語モデル(LLM)を強化する。 CoTのLong-CoTへの拡張はトークン長の増加による計算オーバーヘッドを大幅に増加させる。 ローカル情報とコヒーレンスの両方を保存する2段階のチャンクレベル圧縮フレームワークであるR1-Compressを提案する。
  論文  参考訳（メタデータ） (2025-05-22T16:06:59Z)
• Industrial-Scale Neural Network Clone Detection with Disk-Based Similarity Search [0.24091079613649843]
  コードクローンは、コピー&ペーストプログラミングからしばしば生じる類似のコードフラグメントである。 既存のニューラルネットワークベースのクローン検出スキームを拡張して、利用可能なメモリを超えるクローンを処理する。 メモリに収まる問題サイズの問題に対して、私たちのアプローチはインメモリアプローチよりも約2$times$遅いことを実証しています。
  論文  参考訳（メタデータ） (2025-04-24T22:50:23Z)
• On Storage Neural Network Augmented Approximate Nearest Neighbor Search [1.3654846342364308]
  メモリ上のデータではなく、ストレージデバイスに格納されているデータから、与えられたクエリベクターに最もよく似たベクターを検索する必要がある。 本稿では,ニューラルネットワークを用いて正しいクラスタを予測する手法を提案する。 K平均クラスタリングと線形サーチを併用した,最先端SPANNと網羅的手法と比較して, SIFT1Mでは, ストレージから取得したデータの80%と58%の削減で, 90%のリコールを実現している。
  論文  参考訳（メタデータ） (2025-01-23T06:56:18Z)
• Lossless Compression of Vector IDs for Approximate Nearest Neighbor Search [11.938555573590964]
  インデックスのサイズを減らすために、ロスシー圧縮が広く適用されている。 逆ファイルとグラフベースのインデックスでは、ベクトルIDやリンクなどの補助データはほとんどのストレージコストを表すことができる。 いくつかのデータセットに対して、これらの手法は量子化されたベクトルコードも無害に圧縮できることを示す。
  論文  参考訳（メタデータ） (2025-01-16T20:45:11Z)
• Generalized compression and compressive search of large datasets [0.0]
  panCAKESは圧縮検索の新しいアプローチであり、圧縮されたデータに対して$k$-NNと$rho$-NN検索を実行する方法である。 PanCAKESは多様体仮説を仮定し、データの低次元構造を利用して効率よく圧縮・探索する。 ゲノミクス、プロテオミクス、データセットなど、さまざまなデータセットでpanCAKESをベンチマークします。
  論文  参考訳（メタデータ） (2024-09-18T17:25:31Z)
• FUSELOC: Fusing Global and Local Descriptors to Disambiguate 2D-3D Matching in Visual Localization [52.57327385675752]
  直接2D-3Dマッチングではメモリが大幅に削減されるが、より大きくあいまいな検索空間のために精度が低下する。 重み付き平均演算子を用いて局所的および大域的記述子を融合することにより、この曖昧さに対処する。 メモリを43%削減し、1.6倍高速に動作しながら、階層的な手法に近いパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-08-21T23:42:16Z)
• NeuMap: Neural Coordinate Mapping by Auto-Transdecoder for Camera Localization [60.73541222862195]
  NeuMapは、カメラのローカライゼーションのためのエンドツーエンドのニューラルマッピング手法である。 シーン全体を遅延コードグリッドにエンコードし、Transformerベースのオートデコーダがクエリピクセルの3D座標を回帰する。
  論文  参考訳（メタデータ） (2022-11-21T04:46:22Z)
• OctSqueeze: Octree-Structured Entropy Model for LiDAR Compression [77.8842824702423]
  本稿では,LiDAR点雲のメモリフットプリントを削減するための新しいディープ圧縮アルゴリズムを提案する。 本手法は,メモリフットプリントを低減するために,点間の間隔と構造的冗長性を利用する。 我々のアルゴリズムは、自動運転車などのアプリケーションにおいて、LiDARポイントのオンボードおよびオフボードストレージを減らすために使用できる。
  論文  参考訳（メタデータ） (2020-05-14T17:48:49Z)
• OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
  本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。 そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。 実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-04-20T02:41:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。