論文の概要: UDAPDR: Unsupervised Domain Adaptation via LLM Prompting and
Distillation of Rerankers
- arxiv url: http://arxiv.org/abs/2303.00807v3
- Date: Fri, 13 Oct 2023 17:23:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 18:06:32.040107
- Title: UDAPDR: Unsupervised Domain Adaptation via LLM Prompting and
Distillation of Rerankers
- Title(参考訳): udapdr: rerankers の llm プロンプトと蒸留による非教師なしドメイン適応
- Authors: Jon Saad-Falcon, Omar Khattab, Keshav Santhanam, Radu Florian, Martin
Franz, Salim Roukos, Avirup Sil, Md Arafat Sultan, Christopher Potts
- Abstract要約: 我々は,大規模言語モデル(LLM)を用いて大量の合成クエリを安価に生成する手法を開発し,動機づける。
この手法により、長テール領域におけるゼロショット精度が向上し、標準のリグレード法よりもかなり低レイテンシを実現することを示す。
- 参考スコア(独自算出の注目度): 42.84866455416052
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many information retrieval tasks require large labeled datasets for
fine-tuning. However, such datasets are often unavailable, and their utility
for real-world applications can diminish quickly due to domain shifts. To
address this challenge, we develop and motivate a method for using large
language models (LLMs) to generate large numbers of synthetic queries cheaply.
The method begins by generating a small number of synthetic queries using an
expensive LLM. After that, a much less expensive one is used to create large
numbers of synthetic queries, which are used to fine-tune a family of reranker
models. These rerankers are then distilled into a single efficient retriever
for use in the target domain. We show that this technique boosts zero-shot
accuracy in long-tail domains and achieves substantially lower latency than
standard reranking methods.
- Abstract(参考訳): 多くの情報検索タスクは、微調整のために大きなラベル付きデータセットを必要とする。
しかし、そのようなデータセットは、しばしば利用不能であり、実際のアプリケーション用のユーティリティは、ドメインシフトによって急速に減少する可能性がある。
この課題に対処するために,大規模言語モデル(LLM)を用いて大量の合成クエリを安価に生成する手法を開発し,動機づける。
この方法は、高価なLLMを使用して少数の合成クエリを生成することから始まる。
その後、非常に安価なものが大量の合成クエリの作成に使われ、リランクモデルのファミリーを微調整するのに使用される。
これらのリランカーは、ターゲットドメインで使用する単一の効率的なレトリバーに蒸留される。
本手法は,ロングテール領域におけるゼロショット精度を向上し,標準再ランキング法よりも大幅に低いレイテンシを実現することを示す。
関連論文リスト
- Fine Tuning vs. Retrieval Augmented Generation for Less Popular
Knowledge [17.48107304359591]
低頻度トピックにおけるLLMの性能を高めるための2つのアプローチは、検索型拡張生成(RAG)と合成データに対する微調整(FT)である。
以上の結果から,FTは,最も人気の高いグループ,特に最も人気の高いグループにおいて,パフォーマンスを著しく向上させる一方,RAGは他の手法を超越していることが明らかとなった。
論文 参考訳(メタデータ) (2024-03-03T08:07:55Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - SEED: Domain-Specific Data Curation With Large Language Models [23.292874517414774]
LLM-as-compilerアプローチであるSEEDは,Large Language Models(LLM)を介して,ドメイン固有のデータキュレーションソリューションを自動的に生成する。
SEDは、それらのジェネリックなソリューションを著しく上回るドメイン固有のソリューションを生成する。
SEDは最先端または同等の少数ショットのパフォーマンスを達成し、LLM呼び出しの数を著しく削減する。
論文 参考訳(メタデータ) (2023-10-01T17:59:20Z) - SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot
Neural Sparse Retrieval [92.27387459751309]
ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。
我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。
SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
論文 参考訳(メタデータ) (2023-07-19T22:48:02Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳(メタデータ) (2023-05-24T06:16:44Z) - TASTY: A Transformer based Approach to Space and Time complexity [0.4724825031148411]
コードベース言語モデル(LM)は、ソフトウェア工学の分野で非常に有望な結果を示している。
複数の言語にまたがるコードスニペットのラベル付きデータセットを作成します。
私たちは、コードから空間の複雑さを見つけるのにLMを使うことを提案しています。
論文 参考訳(メタデータ) (2023-05-06T03:37:44Z) - Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。
我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文 参考訳(メタデータ) (2023-04-27T14:45:55Z) - Unsupervised Domain Adaptive Learning via Synthetic Data for Person
Re-identification [101.1886788396803]
人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。
残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。
本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
論文 参考訳(メタデータ) (2021-09-12T15:51:41Z) - Error-driven Pruning of Language Models for Virtual Assistants [7.893832677040097]
仮想アシスタント(VA)のための言語モデル(LM)は、通常、大量のデータで訓練されます。
より緩和された刈り取りしきい値を必要とするn-gramのキープリストを許可することで、エントロピーの刈り取りをカスタマイズする。
また,最大 lm で達成された wer の成果の大部分を保ちつつ,lm の大きさを小さくする判別手法を提案する。
論文 参考訳(メタデータ) (2021-02-14T18:47:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。