論文の概要: Few-shot Prompting for Pairwise Ranking: An Effective Non-Parametric Retrieval Model

• arxiv url: http://arxiv.org/abs/2409.17745v3
• Date: Fri, 4 Oct 2024 18:35:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 16:00:56.937393
• Title: Few-shot Prompting for Pairwise Ranking: An Effective Non-Parametric Retrieval Model
• Title（参考訳）: Pairwise RankingのためのFew-shot Prompting: 効果的な非パラメトリック検索モデル
• Authors: Nilanjan Sinhababu, Andrew Parry, Debasis Ganguly, Debasis Samanta, Pabitra Mitra,
• Abstract要約: 本稿では,複雑な訓練パイプラインを必要とせず,教師付きモデルに近い性能を達成できる一対数ショットローダを提案する。 また,複雑なトレーニングパイプラインを必要とせず,教師付きモデルに近い性能を実現する。
• 参考スコア（独自算出の注目度）: 18.111868378615206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A supervised ranking model, despite its advantage of being effective, usually involves complex processing - typically multiple stages of task-specific pre-training and fine-tuning. This has motivated researchers to explore simpler pipelines leveraging large language models (LLMs) that are capable of working in a zero-shot manner. However, since zero-shot inference does not make use of a training set of pairs of queries and their relevant documents, its performance is mostly worse than that of supervised models, which are trained on such example pairs. Motivated by the existing findings that training examples generally improve zero-shot performance, in our work, we explore if this also applies to ranking models. More specifically, given a query and a pair of documents, the preference prediction task is improved by augmenting examples of preferences for similar queries from a training set. Our proposed pairwise few-shot ranker demonstrates consistent improvements over the zero-shot baseline on both in-domain (TREC DL) and out-domain (BEIR subset) retrieval benchmarks. Our method also achieves a close performance to that of a supervised model without requiring any complex training pipeline.
• Abstract（参考訳）: 教師付きランキングモデルは、効果的であることの利点にもかかわらず、通常複雑な処理(通常、タスク固有の事前トレーニングと微調整の複数の段階)を伴います。 これによって研究者たちは,ゼロショットで動作可能な大規模言語モデル(LLM)を活用した,シンプルなパイプラインの探索を動機付けている。 しかし、ゼロショット推論では、クエリのペアとその関連ドキュメントのトレーニングセットは使用しないため、そのパフォーマンスは、そのようなペアでトレーニングされる教師付きモデルよりも大幅に低下する。 トレーニングサンプルが一般的にゼロショットのパフォーマンスを改善するという既存の知見に触発されて、私たちの研究では、これがランキングモデルにも当てはまるかどうか調査している。 より具体的には、クエリとドキュメントのペアが与えられた場合、トレーニングセットから類似したクエリの好みの例を増やすことで、好み予測タスクが改善される。 提案手法は,インドメイン (TREC DL) とアウトドメイン (BEIR サブセット) の検索ベンチマークにおいて,ゼロショットベースラインに対する一貫した改善を示す。 また,複雑なトレーニングパイプラインを必要とせず,教師付きモデルに近い性能を実現する。

関連論文リスト

• Enhancing Retrieval Performance: An Ensemble Approach For Hard Negative Mining [0.0]
  本研究は,クロスエンコーダモデルのトレーニングプロセスにおいて,ハードネガティブが果たす重要な役割を説明することに焦点を当てる。 我々は,企業データセット上でのクロスエンコーダ・リランクモデルの効率的なトレーニングのための強硬な負のマイニング手法を開発した。
  論文  参考訳（メタデータ） (2024-10-18T05:23:39Z)
• Understanding prompt engineering may not require rethinking generalization [56.38207873589642]
  言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。 この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
  論文  参考訳（メタデータ） (2023-10-06T00:52:48Z)
• Meta-training with Demonstration Retrieval for Efficient Few-shot Learning [11.723856248352007]
  大規模な言語モデルは、数ショットのNLPタスクで印象的な結果を示す。 これらのモデルはメモリと計算集約である。 本稿では,実演検索によるメタトレーニングを提案する。
  論文  参考訳（メタデータ） (2023-06-30T20:16:22Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)
• Zero-shot Task Preference Addressing Enabled by Imprecise Bayesian Continual Learning [19.11678487931003]
  本稿では,タスクパフォーマンストレードオフの優先事項に対処するため,IBCL(Imrecise Bayesian Continual Learning)を提案する。 IBCLは、知識ベースから好み順応モデルを構築するために、追加のトレーニングオーバーヘッドを必要としない。 IBCLで得られたモデルには、好むパラメータを識別する保証があることが示されている。
  論文  参考訳（メタデータ） (2023-05-24T06:39:00Z)
• Assessing Out-of-Domain Language Model Performance from Few Examples [38.245449474937914]
  ドメイン外性能(OOD)を数ショットで予測するタスクに対処する。 数ショットの例でモデル精度をみると、このタスクのパフォーマンスをベンチマークする。 帰属に基づく要因がOODの相対モデルの性能のランク付けに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-13T04:45:26Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• On the Role of Supervision in Unsupervised Constituency Parsing [59.55128879760495]
  数ショットのパーシングアプローチは、教師なしのパーシング手法を大きなマージンで上回ることができる。 これは、公正な結論に達するためには、モデル開発に使用されるラベル付きデータの量について慎重に検討する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-10-06T01:34:58Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。