論文の概要: Beyond the Geometric Curse: High-Dimensional N-Gram Hashing for Dense Retrieval

• arxiv url: http://arxiv.org/abs/2601.15205v1
• Date: Wed, 21 Jan 2026 17:26:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.477159
• Title: Beyond the Geometric Curse: High-Dimensional N-Gram Hashing for Dense Retrieval
• Title（参考訳）: 幾何学的曲線を超える:高次元N-Gramハッシュによる高密度検索
• Authors: Sangeet Sharma,
• Abstract要約: NUMENは、学習プロセスを削除することで、次元ボトルネックを破る。 LIMITベンチマークでは、NUMENは93.90%のRecall@100を32,768次元で達成している。 これにより、BM25ベースライン93.6%を公式に超えた最初の密集した検索モデルとなった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Why do even the most powerful 7B-parameter embedding models struggle with simple retrieval tasks that the decades old BM25 handles with ease? Recent theory suggests that this happens because of a dimensionality bottleneck. This occurs when we force infinite linguistic nuances into small, fixed-length learned vectors. We developed NUMEN to break this bottleneck by removing the learning process entirely. Instead of training heavy layers to map text to a constrained space, NUMEN uses deterministic character hashing to project language directly onto high-dimensional vectors. This approach requires no training, supports an unlimited vocabulary, and allows the geometric capacity scale as needed. On the LIMIT benchmark, NUMEN achieves 93.90 % Recall@100 at 32,768 dimensions. This makes it the first dense retrieval model to officially surpass the sparse BM25 baseline 93.6 %. Our findings show that the real problem in dense retrieval isn't the architecture, but the embedding layer itself. The solution isn't necessarily smarter training, but simply providing more room to breathe.
• Abstract（参考訳）: 最も強力な7Bパラメータ埋め込みモデルでさえ、数十年前のBM25が簡単に扱える単純な検索タスクになぜ苦労するのか? 最近の理論は、これは次元的ボトルネックによって起こることを示唆している。 これは、無限の言語ニュアンスを小さな、固定長の学習ベクトルに強制する場合に発生する。 我々はNUMENを開発し、学習プロセスを完全に取り除き、このボトルネックを突破した。 重層をトレーニングしてテキストを制約された空間にマッピングする代わりに、NUMENは決定論的文字ハッシュを使用して言語を直接高次元ベクトルに投影する。 このアプローチはトレーニングを必要とせず、無制限の語彙をサポートし、必要に応じて幾何学的な容量スケールを可能にする。 LIMITベンチマークでは、NUMENは93.90%のRecall@100を32,768次元で達成している。 これにより、BM25ベースライン93.6%を公式に超えた最初の密集した検索モデルとなった。 以上の結果から,高密度検索の真の問題はアーキテクチャではなく,埋め込み層自体にあることがわかった。 このソリューションは、必ずしもよりスマートなトレーニングではなく、単に呼吸する余地を増やすだけなのです。

関連論文リスト

• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• Embedding Compression for Efficient Re-Identification [0.0]
  ReIDアルゴリズムは、オブジェクトの新しい観測結果を以前に記録されたインスタンスにマッピングすることを目的としている。 我々は3つの異なる次元還元法とともに量子化学習をベンチマークする。 ReIDの埋め込みは96倍まで圧縮でき、性能は最小限に抑えられる。
  論文  参考訳（メタデータ） (2024-05-23T15:57:11Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• SliceGPT: Compress Large Language Models by Deleting Rows and Columns [27.004657436024853]
  SliceGPTは,各重み行列をより小さい(高密度)行列に置き換え,ネットワークの埋め込み次元を小さくする,新しい学習後スペーシング方式である。 SliceGPT は LLAMA2-70B OPT 66B と Phi-2 のモデルパラメータの最大25% (埋め込みを含む) を,99%,99%,90% のゼロショットタスク性能を維持しながら除去可能であることを示す。
  論文  参考訳（メタデータ） (2024-01-26T17:35:45Z)
• An Information Theory-inspired Strategy for Automatic Network Pruning [97.03772272417599]
  深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。 既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。 本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-19T07:03:22Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Semiring Primitives for Sparse Neighborhood Methods on the GPU [16.56995698312561]
  スパース半環プリミティブは、幅広い臨界距離測度をサポートするのに十分な柔軟性を持つことができる。 このプリミティブは、多くの近隣情報検索と機械学習アルゴリズムがスパース入力を受け付けるための基礎的なコンポーネントである。
  論文  参考訳（メタデータ） (2021-04-13T17:05:03Z)
• SOLAR: Sparse Orthogonal Learned and Random Embeddings [45.920844071257754]
  我々は,高次元および超スパース埋め込みが,クエリ効率と精度の両面において,高密度な低次元埋め込みよりもはるかに優れていると論じている。 我々は,最大3つの公開データセット上で1.6万冊の書籍を検索し,複数ラベルの分類を行うタスクに対して,500K次元のSOLAR埋め込みを訓練する。 それぞれのタスクに対して,最大10倍の高速さで,各タスクの最先端のベースラインと比較して,精度とリコールの精度が向上する。
  論文  参考訳（メタデータ） (2020-08-30T17:35:35Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。