論文の概要: Ultra-Quantisation: Efficient Embedding Search via 1.58-bit Encodings

• arxiv url: http://arxiv.org/abs/2506.00528v1
• Date: Sat, 31 May 2025 12:22:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.198975
• Title: Ultra-Quantisation: Efficient Embedding Search via 1.58-bit Encodings
• Title（参考訳）: 超量子化: 1.58ビットエンコーディングによる効率的な埋め込み検索
• Authors: Richard Connor, Alan Dearle, Ben Claydon,
• Abstract要約: 任意の精度浮動小数点値のベクトルを集合-1,0,1から要素を引き出すベクトルに置き換える方法を示す。 これは、類似度測定のための強い相関を維持しながら、空間と計量評価コストの非常に大きな節約をもたらす。
• 参考スコア（独自算出の注目度）: 0.49157446832511503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many modern search domains comprise high-dimensional vectors of floating point numbers derived from neural networks, in the form of embeddings. Typical embeddings range in size from hundreds to thousands of dimensions, making the size of the embeddings, and the speed of comparison, a significant issue. Quantisation is a class of mechanism which replaces the floating point values with a smaller representation, for example a short integer. This gives an approximation of the embedding space in return for a smaller data representation and a faster comparison function. Here we take this idea almost to its extreme: we show how vectors of arbitrary-precision floating point values can be replaced by vectors whose elements are drawn from the set {-1,0,1}. This yields very significant savings in space and metric evaluation cost, while maintaining a strong correlation for similarity measurements. This is achieved by way of a class of convex polytopes which exist in the high-dimensional space. In this article we give an outline description of these objects, and show how they can be used for the basis of such radical quantisation while maintaining a surprising degree of accuracy.
• Abstract（参考訳）: 現代の探索領域の多くは、ニューラルネットワークから導かれる浮動小数点数の高次元ベクトルを埋め込みの形で構成している。 一般的な埋め込みサイズは数百から数千の次元で、埋め込みのサイズと比較の速度は重大な問題である。 量子化は、浮動小数点値をより小さな表現(例えば、短い整数)で置き換えるメカニズムのクラスである。 これにより、より小さなデータ表現とより高速な比較関数の見返りに埋め込み空間を近似することができる。 任意の精度浮動小数点値のベクトルが集合 {-1,0,1} から要素が引き出されるベクトルにどのように置き換えられるかを示す。 これは、類似度測定のための強い相関を維持しながら、空間と計量評価コストの非常に大きな節約をもたらす。 これは高次元空間に存在する凸ポリトープのクラスによって達成される。 本稿では、これらのオブジェクトの概要を説明し、驚くほどの精度を維持しながら、このような急進的な量子化の基礎としてどのように使用できるかを示す。

関連論文リスト

• OPDR: Order-Preserving Dimension Reduction for Semantic Embedding of Multimodal Scientific Data [0.888375168590583]
  マルチモーダルな科学データ管理における最も一般的な操作の1つは、$k$の類似アイテムを探すことである。 結果として得られる埋め込みベクトルの次元は、通常数百から数千のオーダーであり、時間に敏感な科学的応用には不可分に高い。 この研究は、出力埋め込みベクトルの次元性を減らし、トップ=k$近辺の集合が低次元空間において変化しないようにすることを提案する。
  論文  参考訳（メタデータ） (2024-08-15T22:30:44Z)
• Associative Memories in the Feature Space [68.1903319310263]
  本稿では,低次元のセマンティック埋め込みのみを記憶するメモリモデルを提案する。 MNISTデータセット上の単純なタスクに対して,本手法の概念実証を行う。
  論文  参考訳（メタデータ） (2024-02-16T16:37:48Z)
• Linearized Wasserstein dimensionality reduction with approximation guarantees [65.16758672591365]
  LOT Wassmap は、ワーッサーシュタイン空間の低次元構造を明らかにするための計算可能なアルゴリズムである。 我々は,LOT Wassmapが正しい埋め込みを実現し,サンプルサイズの増加とともに品質が向上することを示す。 また、LOT Wassmapがペア距離計算に依存するアルゴリズムと比較して計算コストを大幅に削減することを示す。
  論文  参考訳（メタデータ） (2023-02-14T22:12:16Z)
• Learning Implicit Feature Alignment Function for Semantic Segmentation [51.36809814890326]
  Implicit Feature Alignment Function (IFA)は、暗黙の神経表現の急速に拡大するトピックにインスパイアされている。 IFAは機能マップを異なるレベルで暗黙的に整列し、任意の解像度でセグメンテーションマップを生成することができることを示す。 提案手法は,様々なアーキテクチャの改善と組み合わせて,一般的なベンチマークにおける最先端の精度のトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-06-17T09:40:14Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• Metalearning: Sparse Variable-Structure Automata [0.0]
  本研究では,動的スパース符号ベクトルをフライ時に使用する基底ベクトルの数を増やすメタラーニング手法を提案する。 アクター批判アルゴリズムが展開され、必要な精度のレベルに関する特徴の適切な寸法を自動的に選択する。
  論文  参考訳（メタデータ） (2021-01-30T21:32:23Z)
• SOLAR: Sparse Orthogonal Learned and Random Embeddings [45.920844071257754]
  我々は,高次元および超スパース埋め込みが,クエリ効率と精度の両面において,高密度な低次元埋め込みよりもはるかに優れていると論じている。 我々は,最大3つの公開データセット上で1.6万冊の書籍を検索し,複数ラベルの分類を行うタスクに対して,500K次元のSOLAR埋め込みを訓練する。 それぞれのタスクに対して,最大10倍の高速さで,各タスクの最先端のベースラインと比較して,精度とリコールの精度が向上する。
  論文  参考訳（メタデータ） (2020-08-30T17:35:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。