論文の概要: DemoRank: Selecting Effective Demonstrations for Large Language Models in Ranking Task
- arxiv url: http://arxiv.org/abs/2406.16332v2
- Date: Wed, 25 Sep 2024 09:36:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 01:10:29.035757
- Title: DemoRank: Selecting Effective Demonstrations for Large Language Models in Ranking Task
- Title（参考訳）: DemoRank: ランク付けタスクにおける大規模言語モデルの効果的なデモを選択する
- Authors: Wenhan Liu, Yutao Zhu, Zhicheng Dou,
- Abstract要約: 本稿では,文節ランキングタスクにおいて,コンテキスト内デモを適切に選択する方法について検討する。
ランキングタスクのためのデモ選択フレームワークであるDemoRankを提案する。
- 参考スコア（独自算出の注目度）: 24.780407347867943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, there has been increasing interest in applying large language models (LLMs) as zero-shot passage rankers. However, few studies have explored how to select appropriate in-context demonstrations for the passage ranking task, which is the focus of this paper. Previous studies mainly use LLM's feedback to train a retriever for demonstration selection. These studies apply the LLM to score each demonstration independently, which ignores the dependencies between demonstrations (especially important in ranking task), leading to inferior performance of top-$k$ retrieved demonstrations. To mitigate this issue, we introduce a demonstration reranker to rerank the retrieved demonstrations so that top-$k$ ranked ones are more suitable for ICL. However, generating training data for such reranker is quite challenging. On the one hand, different from demonstration retriever, the training samples of reranker need to incorporate demonstration dependencies. On the other hand, obtaining the gold ranking from the retrieved demonstrations is an NP-hard problem, which is hard to implement. To overcome these challenges, we propose a method to approximate the optimal demonstration list iteratively and utilize LLM to score demonstration lists of varying lengths. By doing so, the search space is greatly reduced and demonstration dependencies are considered. Based on these scored demonstration lists, we further design a list-pairwise training approach which compares a pair of lists that only differ in the last demonstration, to teach the reranker how to select the next demonstration given a previous sequence. In this paper, we propose a demonstration selection framework DemoRank for ranking task and conduct extensive experiments to prove its strong ability.
- Abstract（参考訳）: 近年,大型言語モデル (LLM) をゼロショットパスローダとして採用することへの関心が高まっている。
しかし、この論文の焦点である通過ランキングタスクに対して、適切な文脈内デモンストレーションを選択する方法を検討する研究はほとんどない。
従来の研究では、主にLLMのフィードバックを使って、デモ選択のためのレトリバーを訓練していた。
これらの研究は、LLMを用いて各デモンストレーションを独立にスコア付けし、デモ間の依存関係(特にランキングタスクにおいて重要な)を無視して、トップ$k$検索されたデモの性能が劣る。
この問題を軽減するために、検索したデモをリランクするデモ・リランカを導入し、上位の$kがICLに適しているようにします。
しかし、そのようなリランカのためのトレーニングデータを生成することは極めて困難である。
一方、デモレトリバーとは異なり、rerankerのトレーニングサンプルは、デモ依存関係を組み込む必要がある。
一方、検索したデモからゴールドランキングを取得することはNPハード問題であり、実装は困難である。
これらの課題を克服するために、最適なデモリストを反復的に近似する手法を提案し、LLMを用いて様々な長さのデモリストをスコアリングする。
これにより、検索スペースが大幅に削減され、実演依存性が考慮される。
得られた実演リストに基づいて、前回の実演でのみ異なるリストのペアを比較して、前回の列から次の実演を選択する方法をリランカに教えるリストペアワイズ・トレーニング・アプローチをさらに設計する。
本稿では,評価タスクのためのデモ選択フレームワークであるDemoRankを提案し,その強みを証明するために広範囲な実験を行う。
関連論文リスト
- Show, Don't Tell: Aligning Language Models with Demonstrated Feedback [54.10302745921713]
Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。
我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
論文 参考訳（メタデータ） (2024-06-02T23:13:56Z) - In-context Learning with Retrieved Demonstrations for Language Models: A Survey [23.24271704145876]
インコンテクスト学習者(ICL)は入力コンテキストでのデモを少しだけ行うだけで、新しいタスクに適応できる。
最近の開発では、固定された一連のデモを使う代わりに、各入力クエリに合わせたデモを検索する。
本稿では,検索モデル,検索訓練手順,推論アルゴリズムの異なる設計選択について論じ,比較する。
論文 参考訳（メタデータ） (2024-01-21T23:34:42Z) - Dynamic Demonstrations Controller for In-Context Learning [51.3439660534631]
In-Context Learning(ICL)は、自然言語処理(NLP)のための新しいパラダイムであり、大規模な言語モデルが少数の実演とテストインスタンスを入力として観察する。
これまでの研究では、ICLはデモの選択と順序に敏感であることが判明している。
デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
論文 参考訳（メタデータ） (2023-09-30T14:04:22Z) - In-Context Demonstration Selection with Cross Entropy Difference [95.21947716378641]
大規模言語モデル(LLM)は、ゼロショットタスクのパフォーマンスを改善するためにコンテキスト内デモを使用することができる。
テキスト内デモを選択するためのクロスエントロピー差分法(CED)を提案する。
論文 参考訳（メタデータ） (2023-05-24T05:04:00Z) - Dr.ICL: Demonstration-Retrieved In-context Learning [29.142262267850704]
インコンテキスト学習(ICL)は、LLMを使用するための強力なパラダイムとして、数発のデモでタスクを実行するために大きな言語モデルを教える。
最近の研究では、利用可能なデモのプールからの入力に対して意味論的に類似したデモを取得することで、より良いパフォーマンスが得られることが示唆されている。
この研究は、BM25のような単純な単語オーバーラップ類似度対策でさえ、ランダムに選択された実演よりも優れていることを示すことで、検索ベースのICLアプローチの適用性を拡大する。
論文 参考訳（メタデータ） (2023-05-23T14:55:25Z) - Unified Demonstration Retriever for In-Context Learning [56.06473069923567]
Unified Demonstration Retriever (textbfUDR)は、幅広いタスクのデモを検索する単一のモデルである。
我々は,高品質な候補を見つけるための反復的なマイニング戦略を備えたマルチタスクリストワイド・トレーニング・フレームワークを提案する。
13のタスクファミリーと複数のデータドメインにわたる30以上のタスクの実験は、UDRがベースラインを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2023-05-07T16:07:11Z) - Robustness of Demonstration-based Learning Under Limited Data Scenario [54.912936555876826]
実証に基づく学習は、限られたデータシナリオ下で事前訓練された言語モデルの能力を刺激する大きな可能性を示している。
実演と予測の間に明確な整合性がないため、なぜこのような実演が学習プロセスに有益なのかは不明だ。
本稿では,実証に基づくシーケンスラベリングの頑健さを深く掘り下げるために,標準情報から直感的に有用な情報を徐々に取り除き,病理デモを設計する。
論文 参考訳（メタデータ） (2022-10-19T16:15:04Z) - Self-Generated In-Context Learning: Leveraging Auto-regressive Language
Models as a Demonstration Generator [22.532627423361177]
自己生成型インコンテキスト学習(SG-ICL)は、PLM自体からインコンテキスト学習のためのデモを生成する。
我々は、SG-ICLがゼロショット学習を著しく上回り、一般的に約0.6金のトレーニングサンプルの価値があることを示した。
論文 参考訳（メタデータ） (2022-06-16T10:52:13Z) - Contrastive Demonstration Tuning for Pre-trained Language Models [59.90340768724675]
デモの例は、プロンプトチューニングの優れた最終パフォーマンスに不可欠である。
提案手法は次の通りである: (i) 従来の急速学習アプローチにプラグイン; (ii) 多数のカテゴリを持つ広範囲な分類タスクに拡張。
16のデータセットに対する実験結果から,従来のLM-BFFとP-tuningを統合した手法により,性能が向上することが示された。
論文 参考訳（メタデータ） (2022-04-09T05:30:48Z) - Robust Maximum Entropy Behavior Cloning [15.713997170792842]
模倣学習(il)アルゴリズムは、特定のタスクを学ぶために専門家のデモンストレーションを使用する。
既存のアプローチのほとんどは、すべての専門家によるデモンストレーションは信頼性と信頼性を前提としていますが、もし与えられたデータセットに敵対的なデモが存在するとしたらどうでしょう?
敵対するデモを自律的に検出し、データセットから除外するデモからポリシーを直接生成する、新しい一般的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-04T22:08:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。