論文の概要: PEFA: Parameter-Free Adapters for Large-scale Embedding-based Retrieval Models

• arxiv url: http://arxiv.org/abs/2312.02429v1
• Date: Tue, 5 Dec 2023 02:08:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 17:19:09.354178
• Title: PEFA: Parameter-Free Adapters for Large-scale Embedding-based Retrieval Models
• Title（参考訳）: pefa:大規模組込み型検索モデルのためのパラメータフリーアダプタ
• Authors: Wei-Cheng Chang, Jyun-Yu Jiang, Jiong Zhang, Mutasem Al-Darabsah, Choon Hui Teo, Cho-Jui Hsieh, Hsiang-Fu Yu, S.V.N. Vishwanathan
• Abstract要約: ParamEter-Free Adapters (PEFA) は、埋め込み検索モデル (ERM) の高速チューニングに使用することができる。 PEFAは、二重ANNインデックスを使用してPEFA-XLとPEFA-XSの2つの実現を誘導する。 文書検索では、PEFAはTrivia-QA上でトレーニング済みのEMMを平均13.2%改善するだけでなく、NQ-320K上での微調整ERMを平均5.5%改善する。
• 参考スコア（独自算出の注目度）: 66.58044980786188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding-based Retrieval Models (ERMs) have emerged as a promising framework for large-scale text retrieval problems due to powerful large language models. Nevertheless, fine-tuning ERMs to reach state-of-the-art results can be expensive due to the extreme scale of data as well as the complexity of multi-stages pipelines (e.g., pre-training, fine-tuning, distillation). In this work, we propose the PEFA framework, namely ParamEter-Free Adapters, for fast tuning of ERMs without any backward pass in the optimization. At index building stage, PEFA equips the ERM with a non-parametric k-nearest neighbor (kNN) component. At inference stage, PEFA performs a convex combination of two scoring functions, one from the ERM and the other from the kNN. Based on the neighborhood definition, PEFA framework induces two realizations, namely PEFA-XL (i.e., extra large) using double ANN indices and PEFA-XS (i.e., extra small) using a single ANN index. Empirically, PEFA achieves significant improvement on two retrieval applications. For document retrieval, regarding Recall@100 metric, PEFA improves not only pre-trained ERMs on Trivia-QA by an average of 13.2%, but also fine-tuned ERMs on NQ-320K by an average of 5.5%, respectively. For product search, PEFA improves the Recall@100 of the fine-tuned ERMs by an average of 5.3% and 14.5%, for PEFA-XS and PEFA-XL, respectively. Our code is available at https://github.com/ amzn/pecos/tree/mainline/examples/pefa-wsdm24
• Abstract（参考訳）: 埋め込み型検索モデル (ERMs) は, 大規模テキスト検索問題に対して, 強力な大規模言語モデルによる将来的なフレームワークとして登場した。 それでも、最先端の成果に達するための微調整のERMは、データの極端なスケールと多段パイプライン(例えば、事前訓練、微調整、蒸留)の複雑さのために高価である。 そこで本研究では,ermの高速チューニングのためのパラメータフリーアダプタであるpefaフレームワークを提案する。 インデックス構築段階では、PEFAはERMに非パラメトリックk-アネレスト隣人(kNN)成分を装備する。 推論段階でPEFAは、ERMとkNNの2つのスコアリング関数の凸結合を行う。 PEFAフレームワークは、近傍の定義に基づいて、二重ANNインデックスを使用したPEFA-XL(英: PEFA-XL)と単一ANNインデックスを使用したPEFA-XS(英: extra small)の2つの実現を誘導する。 実証的に、PEFAは2つの検索アプリケーションで大幅に改善されている。 Recall@100メトリックに関する文書検索では、PEFAはTrivia-QAで事前訓練されたERMを平均13.2%改善するだけでなく、NQ-320Kで微調整されたERMを平均5.5%改善する。 製品検索では、PEFA-XSとPEFA-XLはそれぞれ5.3%と14.5%の細調整EMMのRecall@100を改善している。 私たちのコードはhttps://github.com/ amzn/pecos/tree/mainline/examples/pefa-wsdm24で利用可能です。

関連論文リスト

• RRM: Robust Reward Model Training Mitigates Reward Hacking [51.12341734942797]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 これらのアーティファクトとは無関係に好みを学習する因果的枠組みを導入する。 実験の結果,提案手法は望ましくないアーティファクトをフィルタし,より堅牢な報酬モデルを実現することができた。
  論文  参考訳（メタデータ） (2024-09-20T01:46:07Z)
• Exploring Parameter-Efficient Fine-Tuning of Large Language Model on Automated Program Repair [5.6679735367798925]
  事前学習・微調整」パラダイムにより、大規模言語モデル(LLM)が自動プログラム修復(APR)の修正能力を向上できる 我々はまず,このギャップを埋めるために,インストラクションデータセットであるAPR-INSTRUCTIONを作成するために,プロンプトエンジニアリングを採用している。 最高の微調整モデルでは、最先端のLLMベースのAPR技術よりも58%多くのバグが修正されている。
  論文  参考訳（メタデータ） (2024-06-09T04:42:19Z)
• Accurate Low-Degree Polynomial Approximation of Non-polynomial Operators for Fast Private Inference in Homomorphic Encryption [4.9701231764297]
  ホモモルフィック暗号化(FHE)は、暗号化されたデータの推論を可能にし、データのプライバシと機械学習モデルの両方のプライバシを保存する。 非多項式作用素を高次多項式近似関数(PAF)に置き換える根本原因として、最大5等級の安全推論を遅くする。 我々は,非多項式演算子を低次PAFに置き換えた上で,PAF近似モデルの精度を4つの手法で再現するフレームワークであるSmartPAFを提案する。
  論文  参考訳（メタデータ） (2024-04-04T05:45:52Z)
• CFIR: Fast and Effective Long-Text To Image Retrieval for Large Corpora [3.166549403591528]
  本稿では,高速かつ効率的な画像検索のための2段階の粗度指数共有検索(CFIR)フレームワークを提案する。 CFIRは、Recall@1000で既存のMLLMを最大11.06%上回り、トレーニング時間と検索時間をそれぞれ68.75%、99.79%削減している。
  論文  参考訳（メタデータ） (2024-02-23T11:47:16Z)
• PECoP: Parameter Efficient Continual Pretraining for Action Quality Assessment [5.646864170268027]
  以前の作業では、大規模なドメイン汎用データセットで事前訓練されたモデルを微調整する必要がある。 このようなドメインシフトを減らすために,新しいパラメータ効率,連続的事前学習フレームワーク PEP を提案する。 我々は,最近の最先端手法の性能を向上させるPEPの能力を実証する。
  論文  参考訳（メタデータ） (2023-11-11T02:36:38Z)
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
  Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。 本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
  論文  参考訳（メタデータ） (2023-06-30T11:32:25Z)
• PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees [95.87604231887353]
  既存のpFL手法は高い通信コストと計算コストをもたらすか、テスト通信に弱い。 PerAdaではパラメータ蒸留とpFL pFLが特に試験時間分布において優れた性能を示す。 私たちのコードはhttps://github.com/NV/PerAda.comで公開されています。
  論文  参考訳（メタデータ） (2023-02-13T19:00:37Z)
• Photoelectric Factor Prediction Using Automated Learning and Uncertainty Quantification [0.0]
  光電率(PEF)は、異なる種類の貯水池岩を識別するための重要な井戸検層ツールである。 岩石鉱物の比は、PEFログと他の井戸ログを組み合わせることで決定できる。 しかし、古い井戸の丸太やバリウムベースの泥で掘削された井戸など、一部のケースではPEFログが欠落する可能性がある。
  論文  参考訳（メタデータ） (2022-06-17T18:03:38Z)
• Consistent Training and Decoding For End-to-end Speech Recognition Using Lattice-free MMI [67.13999010060057]
  本稿では,LF-MMI基準をE2E ASRフレームワークに統合する新たな手法を提案する。 LF-MMI基準の導入は、一貫して大きなパフォーマンス改善をもたらすことが実験的に示唆されている。
  論文  参考訳（メタデータ） (2021-12-05T07:30:17Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。