論文の概要: UDAPDR: Unsupervised Domain Adaptation via LLM Prompting and Distillation of Rerankers

• arxiv url: http://arxiv.org/abs/2303.00807v2
• Date: Mon, 22 May 2023 17:59:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 04:01:35.794784
• Title: UDAPDR: Unsupervised Domain Adaptation via LLM Prompting and Distillation of Rerankers
• Title（参考訳）: udapdr: rerankers の llm プロンプトと蒸留による非教師なしドメイン適応
• Authors: Jon Saad-Falcon, Omar Khattab, Keshav Santhanam, Radu Florian, Martin Franz, Salim Roukos, Avirup Sil, Md Arafat Sultan, Christopher Potts
• Abstract要約: 我々は,大規模言語モデル(LLM)を用いて大量の合成クエリを安価に生成する手法を開発し,動機づける。 この手法は,2Kの合成クエリのみを微調整に用いる場合であっても,長テール領域でのゼロショット精度を向上させることを示す。
• 参考スコア（独自算出の注目度）: 23.58926641184402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many information retrieval tasks require large labeled datasets for fine-tuning. However, such datasets are often unavailable, and their utility for real-world applications can diminish quickly due to domain shifts. To address this challenge, we develop and motivate a method for using large language models (LLMs) to generate large numbers of synthetic queries cheaply. The method begins by generating a small number of synthetic queries using an expensive LLM. After that, a much less expensive one is used to create large numbers of synthetic queries, which are used to fine-tune a family of reranker models. These rerankers are then distilled into a single efficient retriever for use in the target domain. We show that this technique boosts zero-shot accuracy in long-tail domains, even where only 2K synthetic queries are used for fine-tuning, and that it achieves substantially lower latency than standard reranking methods. We make our end-to-end approach, including our synthetic datasets and replication code, publicly available on Github: https://github.com/primeqa/primeqa.
• Abstract（参考訳）: 多くの情報検索タスクは、微調整のために大きなラベル付きデータセットを必要とする。 しかし、そのようなデータセットは、しばしば利用不能であり、実際のアプリケーション用のユーティリティは、ドメインシフトによって急速に減少する可能性がある。 この課題に対処するために,大規模言語モデル(LLM)を用いて大量の合成クエリを安価に生成する手法を開発し,動機づける。 この方法は、高価なLLMを使用して少数の合成クエリを生成することから始まる。 その後、非常に安価なものが大量の合成クエリの作成に使われ、リランクモデルのファミリーを微調整するのに使用される。 これらのリランカーは、ターゲットドメインで使用する単一の効率的なレトリバーに蒸留される。 本手法は,2Kの合成クエリのみを微調整に用いる場合であっても,長テール領域でのゼロショット精度を向上し,従来のリグレード手法よりも大幅に低レイテンシを実現することを示す。 私たちは、合成データセットとレプリケーションコードを含むエンドツーエンドのアプローチをgithubで公開しています。

関連論文リスト

• Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback [17.986392250269606]
  Relevance Feedback (ReDE-RF) による実文書埋め込みについて紹介する。 ReDE-RFは、関連性フィードバックにインスパイアされて、関連性推定タスクとして仮説文書生成を再構成することを提案する。 実験の結果,ReDE-RFは最先端のゼロショット高密度検索手法を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-28T17:40:40Z)
• RRADistill: Distilling LLMs' Passage Ranking Ability for Document Re-Ranking of Long-Tail Queries in a Search Engine [2.0379810233726126]
  大規模言語モデル(LLM)は、クエリとドキュメント間の意味的関係を理解するのに優れている。 これらのクエリは、少ないユーザエンゲージメントと限られたフィードバックのため、フィードバックベースのランキングでは難しい。 本稿では,エンコーダモデルとデコーダモデルの両方に対して,効率的なラベル生成パイプラインと新しいsLLMトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:28:06Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• SEED: Domain-Specific Data Curation With Large Language Models [22.54280367957015]
  LLM-as-compilerアプローチであるSEEDは,Large Language Models(LLM)を介して,ドメイン固有のデータキュレーションソリューションを自動的に生成する。 SEEDは、4つのLCMアシストモジュールから自動的に選択し、そのタスクに最も適したハイブリッド実行パイプラインを形成する。
  論文  参考訳（メタデータ） (2023-10-01T17:59:20Z)
• SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
  ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。 我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T22:48:02Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)
• Error-driven Pruning of Language Models for Virtual Assistants [7.893832677040097]
  仮想アシスタント(VA)のための言語モデル(LM)は、通常、大量のデータで訓練されます。 より緩和された刈り取りしきい値を必要とするn-gramのキープリストを許可することで、エントロピーの刈り取りをカスタマイズする。 また,最大 lm で達成された wer の成果の大部分を保ちつつ,lm の大きさを小さくする判別手法を提案する。
  論文  参考訳（メタデータ） (2021-02-14T18:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。