論文の概要: NUDGE: Lightweight Non-Parametric Fine-Tuning of Embeddings for Retrieval

• arxiv url: http://arxiv.org/abs/2409.02343v1
• Date: Wed, 4 Sep 2024 00:10:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 20:51:59.788804
• Title: NUDGE: Lightweight Non-Parametric Fine-Tuning of Embeddings for Retrieval
• Title（参考訳）: NUDGE:軽量非パラメトリックファインチューニングによる検索用埋め込み
• Authors: Sepanta Zeighami, Zac Wellmer, Aditya Parameswaran,
• Abstract要約: 既存のアプローチは、事前訓練されたモデル自体を微調整するか、より効率的に、事前訓練されたモデルの出力を変換するためにアダプタモデルを訓練する。 NUDGEは、新しい非パラメトリック埋め込みファインチューニングアプローチのファミリーである。 NUDGEは、$k$-NN検索の精度を最大化するために、データレコードの埋め込みを直接修正する。
• 参考スコア（独自算出の注目度）: 0.7646713951724011
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: $k$-Nearest Neighbor search on dense vector embeddings ($k$-NN retrieval) from pre-trained embedding models is the predominant retrieval method for text and images, as well as Retrieval-Augmented Generation (RAG) pipelines. In practice, application developers often fine-tune the embeddings to improve their accuracy on the dataset and query workload in hand. Existing approaches either fine-tune the pre-trained model itself or, more efficiently, but at the cost of accuracy, train adaptor models to transform the output of the pre-trained model. We present NUDGE, a family of novel non-parametric embedding fine-tuning approaches that are significantly more accurate and efficient than both sets of existing approaches. NUDGE directly modifies the embeddings of data records to maximize the accuracy of $k$-NN retrieval. We present a thorough theoretical and experimental study of NUDGE's non-parametric approach. We show that even though the underlying problem is NP-Hard, constrained variations can be solved efficiently. These constraints additionally ensure that the changes to the embeddings are modest, avoiding large distortions to the semantics learned during pre-training. In experiments across five pre-trained models and nine standard text and image retrieval datasets, NUDGE runs in minutes and often improves NDCG@10 by more than 10% over existing fine-tuning methods. On average, NUDGE provides 3.3x and 4.3x higher increase in accuracy and runs 200x and 3x faster, respectively, over fine-tuning the pre-trained model and training adaptors.
• Abstract（参考訳）: k$-Nearest Neighbor search on dense vector embeddeds (k$-NN search) from pre-trained embedded model is the most search method for text and image, and as Retrieval-Augmented Generation (RAG) pipelines。 実際に、アプリケーション開発者は、データセットの正確性を改善し、手元のワークロードをクエリするために、埋め込みを微調整することが多い。 既存のアプローチは、事前訓練されたモデル自体を微調整するか、より効率的にするが、精度の面では、事前訓練されたモデルの出力を変換するようにアダプタモデルを訓練する。 NUDGE, NUDGEは, 従来の2つの手法よりも精度が高く, 効率的である新しい非パラメトリック埋め込み細調整手法のファミリーである。 NUDGEは、$k$-NN検索の精度を最大化するために、データレコードの埋め込みを直接修正する。 NUDGEの非パラメトリックアプローチに関する理論的および実験的研究を概説する。 NP-Hardが根本問題であるにもかかわらず、制約付き変分を効率的に解けることを示す。 これらの制約により、埋め込みの変更が控えめであることも保証され、事前トレーニング中に学んだセマンティックスに対する大きな歪みを避けることができる。 5つの事前訓練されたモデルと9つの標準テキストおよび画像検索データセットの実験では、NUDGEは数分で実行され、既存の微調整方法よりも10%以上改善されている。 NUDGEは、トレーニング済みモデルとトレーニングアダプタを微調整する代わりに、平均して3.3倍と4.3倍の精度向上と、それぞれ200倍と3倍の高速化を実現している。

関連論文リスト

• More precise edge detections [0.0]
  エッジ検出 (ED) はコンピュータビジョンの基本的なタスクである。 現在のモデルは相変わらず不満足な精度に悩まされている。 より正確な予測のためのモデルアーキテクチャはまだ調査が必要である。
  論文  参考訳（メタデータ） (2024-07-29T13:24:55Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Adaptive Sparse Gaussian Process [0.0]
  これらの問題に対処できる最初の適応スパースガウスプロセス(GP)を提案する。 まず,変分スパースGPアルゴリズムを変形係数によって適応的に再構成する。 そこで我々は,新しいサンプルが到着するたびに,スパースGPモデルの単一誘導点と残りのモデルパラメータを同時に更新することを提案する。
  論文  参考訳（メタデータ） (2023-02-20T21:34:36Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Adapting by Pruning: A Case Study on BERT [9.963251767416967]
  対象タスクの性能を最適化するために,事前学習したモデルの神経接続をpruneするプラニングにより適応する新しいモデル適応パラダイムを提案する。 本稿では, 最適化問題として適応分割法を定式化し, モデル作成のための効率的なアルゴリズムを提案する。 以上の結果から,提案手法は細調整フルモデルと同等の性能を示しながら,BERTの最大50%の重み付けが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-07T15:51:08Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。