論文の概要: Instruction Distillation Makes Large Language Models Efficient Zero-shot
Rankers
- arxiv url: http://arxiv.org/abs/2311.01555v1
- Date: Thu, 2 Nov 2023 19:16:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-06 15:59:51.197128
- Title: Instruction Distillation Makes Large Language Models Efficient Zero-shot
Rankers
- Title(参考訳): 大規模な言語モデルでゼロショットランチャーを効率化するインストラクション蒸留
- Authors: Weiwei Sun and Zheng Chen and Xinyu Ma and Lingyong Yan and Shuaiqiang
Wang and Pengjie Ren and Zhumin Chen and Dawei Yin and Zhaochun Ren
- Abstract要約: 本稿では,文書のランク付けのための新しい命令蒸留手法を提案する。
まず、複雑な命令で効果的なペアワイズ手法を用いて文書をランク付けし、簡単な指示で教師の予測をポイントワイズ方式で抽出する。
提案手法は,MonoT5のような既存の教師付きメソッドの性能を超越し,最先端のゼロショット手法と同等である。
- 参考スコア(独自算出の注目度): 56.12593882838412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies have demonstrated the great potential of Large Language Models
(LLMs) serving as zero-shot relevance rankers. The typical approach involves
making comparisons between pairs or lists of documents. Although effective,
these listwise and pairwise methods are not efficient and also heavily rely on
intricate prompt engineering. To tackle this problem, we introduce a novel
instruction distillation method. The key idea is to distill the pairwise
ranking ability of open-sourced LLMs to a simpler but more efficient pointwise
ranking. Specifically, given the same LLM, we first rank documents using the
effective pairwise approach with complex instructions, and then distill the
teacher predictions to the pointwise approach with simpler instructions.
Evaluation results on the BEIR, TREC, and ReDial datasets demonstrate that
instruction distillation can improve efficiency by 10 to 100x and also enhance
the ranking performance of LLMs. Furthermore, our approach surpasses the
performance of existing supervised methods like monoT5 and is on par with the
state-of-the-art zero-shot methods. The code to reproduce our results is
available at www.github.com/sunnweiwei/RankGPT.
- Abstract(参考訳): 近年,Large Language Models (LLMs) がゼロショットレバレンスローダとして機能する可能性を示している。
典型的なアプローチは、文書のペアまたはリストの比較である。
有効ではあるが、これらのリストワイドとペアワイドの手法は効率的ではなく、複雑なプロンプト工学に依存している。
そこで本研究では,新しい蒸留法を提案する。
重要なアイデアは、オープンソースllmのペアワイズランキング能力を、よりシンプルで効率的なポイントワイズランキングに絞り込むことだ。
具体的には、同じllmを与えられた場合、まず、複雑な命令を伴う効果的なペアワイズアプローチを用いてドキュメントをランク付けし、次に教師予測をより単純な指示でポイントワイズアプローチに絞り込む。
BEIR, TREC, およびReDialデータセットの評価結果は, 命令蒸留により10倍から100倍の効率が向上し, LLMのランク付け性能が向上することを示した。
さらに,本手法はMonoT5のような既存の教師付き手法よりも優れ,最先端のゼロショット方式と同等である。
結果を再現するコードはwww.github.com/sunnweiwei/RankGPTで入手できる。
関連論文リスト
- Identifying Factual Inconsistency in Summaries: Towards Effective
Utilization of Large Language Model [50.71344457241456]
この研究は2つの重要な疑問に焦点をあてる: 現実の不整合検出に大規模言語モデル(LLM)を利用する最善の方法は何か、そして、どのようにしてより小さなLCMを高い効率と有効性で蒸留できるのか?
実験の結果、LLM自体が適切なパラダイム設計の下でこのタスクを無断で解決でき、訓練されたベースラインが平均2.8%を超えることが示唆された。
実用性をさらに向上するため,我々はより小型のオープンソースLCMを蒸留し,要約全体を高精度にまとめることを目指す訓練戦略を提案する。
論文 参考訳(メタデータ) (2024-02-20T08:41:23Z) - Tuna: Instruction Tuning using Feedback from Large Language Models [74.04950416204551]
本稿では,新しいテキスト確率的ランキングとテキストコンテクスチュアルランキングを用いた命令調整型大規模言語モデルの微調整を提案する。
確率的ランク付けにより、教師のLCMから高品質で低品質なレスポンスの相対的なランク付けを継承することができる。
一方、文脈的ランキングを学習することで、より強いLLMの文脈的理解能力を用いて、モデルが独自の応答分布を洗練できる。
論文 参考訳(メタデータ) (2023-10-20T09:55:06Z) - A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking
with Large Language Models [38.42388083274069]
大言語モデル(LLM)は、ゼロショット文書ランキングタスクにおいて顕著な効果を示す。
LLMベースのゼロショットランキングでは、ポイントワイズ、ペアワイズ、リストワイズといったアプローチが提案されている。
それぞれのアプローチに固有の有効性と効率のトレードオフを特定します。
論文 参考訳(メタデータ) (2023-10-14T05:20:02Z) - Large Language Models are Effective Text Rankers with Pairwise Ranking
Prompting [57.13214633281011]
Pairwise Ranking Prompting (PRP) は,Large Language Models (LLM) を用いた文書のランク付け手法である。
本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
論文 参考訳(メタデータ) (2023-06-30T11:32:25Z) - Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。
3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
論文 参考訳(メタデータ) (2023-05-03T14:45:34Z) - Training Data is More Valuable than You Think: A Simple and Effective
Method by Retrieving from Training Data [82.92758444543689]
検索に基づく手法は,外部知識を導入してNLPタスクに有効であることが示されている。
意外なことに、Retrieving from the training datA (REINA) は複数のNLGおよびNLUタスクにおいて大きな改善をもたらすことが判明した。
実験結果から,本手法は様々なNLUタスクやNLGタスクにおいて,大幅な性能向上が期待できることがわかった。
論文 参考訳(メタデータ) (2022-03-16T17:37:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。