論文の概要: RAE: A Neural Network Dimensionality Reduction Method for Nearest Neighbors Preservation in Vector Search

• arxiv url: http://arxiv.org/abs/2509.25839v1
• Date: Tue, 30 Sep 2025 06:25:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.4522
• Title: RAE: A Neural Network Dimensionality Reduction Method for Nearest Neighbors Preservation in Vector Search
• Title（参考訳）: RAE:ベクトル探索における最近傍保存のためのニューラルネットワーク次元化手法
• Authors: Han Zhang, Dongfang Zhao,
• Abstract要約: k-NNの次元低減のための正規化オートエンコーダ(RAE)。 正規化は変換ベクトルのノルム歪み率に上限を確立する。 RAEは既存のDRアプローチよりも優れたk-NNリコールを実現している。
• 参考スコア（独自算出の注目度）: 3.5003141048841004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While high-dimensional embedding vectors are being increasingly employed in various tasks like Retrieval-Augmented Generation and Recommendation Systems, popular dimensionality reduction (DR) methods such as PCA and UMAP have rarely been adopted for accelerating the retrieval process due to their inability of preserving the nearest neighbor (NN) relationship among vectors. Empowered by neural networks' optimization capability and the bounding effect of Rayleigh quotient, we propose a Regularized Auto-Encoder (RAE) for k-NN preserving dimensionality reduction. RAE constrains the network parameter variation through regularization terms, adjusting singular values to control embedding magnitude changes during reduction, thus preserving k-NN relationships. We provide a rigorous mathematical analysis demonstrating that regularization establishes an upper bound on the norm distortion rate of transformed vectors, thereby offering provable guarantees for k-NN preservation. With modest training overhead, RAE achieves superior k-NN recall compared to existing DR approaches while maintaining fast retrieval efficiency.
• Abstract（参考訳）: 高次元埋め込みベクトルは、検索・拡張生成・勧告システムなどの様々なタスクにますます採用されているが、ベクトル間の近辺(NN)関係の保存が不可能なため、PCAやUMAPのような一般的な次元削減(DR)手法は、検索プロセスの高速化に採用されることは稀である。 ニューラルネットワークの最適化機能とレイリー商の有界効果を利用して,k-NN保存次元低減のための正規化オートエンコーダ(RAE)を提案する。 RAEは、正規化項を通じてネットワークパラメータの変動を制限し、特異値を調整し、縮小中の埋め込みサイズの変化を制御し、k-NN関係を保存する。 我々は、正規化が変換ベクトルのノルム歪み率に上限を定め、k-NN保存の証明可能な保証を与えることを示す厳密な数学的解析を提供する。 トレーニングのオーバーヘッドが少なすぎるため、RAEは高速な検索効率を維持しながら既存のDRアプローチよりも優れたk-NNリコールを実現している。

関連論文リスト

• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Gaussian Process Regression -- Neural Network Hybrid with Optimized Redundant Coordinates [0.0]
  我々はモンテカルロアルゴリズムを用いてGPRNNの冗長座標を最適化するOpto-GPRNNを提案する。 opt-GPRNNは多層NNに近い表現力を持ち、いくつかのアプリケーションでディープNNの必要性を回避できる。
  論文  参考訳（メタデータ） (2025-09-10T10:00:38Z)
• Accelerating Natural Gradient Descent for PINNs with Randomized Numerical Linear Algebra [0.0]
  Natural Gradient Descent (NGD)は、ニューラルネットワークに基づく偏微分方程式(PDE)の学習のための有望な最適化アルゴリズムとして登場した。 我々は,行列フリーNGDを従来考えられていたよりも幅広い問題のクラスに拡張し,内部CGソルバの収束を加速するためにランダム化Nystr"omプレコンディショニング(Randomized Nystr)の利用を提案する。 このアルゴリズムは、ニューラルネットワークを用いて識別された様々なPDE問題に対して、既存のNGDベースの手法よりも大幅に性能が向上したことを示す。
  論文  参考訳（メタデータ） (2025-05-16T19:00:40Z)
• MPAD: A New Dimension-Reduction Method for Preserving Nearest Neighbors in High-Dimensional Vector Search [1.1701842638497677]
  次元減少(DR)は、探索に不可欠な近傍構造を歪ませる傾向のため、ほとんど適用されない。 提案するMPAD: Maximum Pairwise Absolute differenceは、NNの近似関係を明示的に保存する教師なしDR法である。 複数の領域にまたがる実験により、MPADは近隣構造を保存する上で標準DR法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-04-23T00:59:00Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• VQ-T: RNN Transducers using Vector-Quantized Prediction Network States [52.48566999668521]
  本稿では,RNNトランスデューサの予測ネットワークにおけるベクトル量子化長短期記憶単位を提案する。 ASRネットワークと協調して離散表現を訓練することにより、格子生成のために仮説を積極的にマージすることができる。 提案するVQ RNNトランスデューサは,通常の予測ネットワークを持つトランスデューサよりもASR性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-08-03T02:45:52Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。