論文の概要: P$^3$ Ranker: Mitigating the Gaps between Pre-training and Ranking Fine-tuning with Prompt-based Learning and Pre-finetuning

• arxiv url: http://arxiv.org/abs/2205.01886v1
• Date: Wed, 4 May 2022 04:23:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-06 01:02:13.743712
• Title: P$^3$ Ranker: Mitigating the Gaps between Pre-training and Ranking Fine-tuning with Prompt-based Learning and Pre-finetuning
• Title（参考訳）: P$^3$ Ranker: Prompt-based LearningとPre-finetuningによる事前学習とランク付けのギャップの緩和
• Authors: Xiaomeng Hu (1), Shi Yu (2), Chenyan Xiong (3), Zhenghao Liu (1), Zhiyuan Liu (2), Ge Yu (1) ((1) Northeastern University, (2) Tsinghua University, (3) Microsoft Research)
• Abstract要約: 我々は、事前学習と微調整の2つのミスマッチを特定し、研究する。 これらのギャップを軽減するために,事前学習型,プロンプト学習型,前調整型ニューラルランサー(P$3$ Ranker)を提案する。 MS MARCO と Robust04 の実験では、P$3$ Ranker が数発のランキングで優れた性能を示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compared to other language tasks, applying pre-trained language models (PLMs) for search ranking often requires more nuances and training signals. In this paper, we identify and study the two mismatches between pre-training and ranking fine-tuning: the training schema gap regarding the differences in training objectives and model architectures, and the task knowledge gap considering the discrepancy between the knowledge needed in ranking and that learned during pre-training. To mitigate these gaps, we propose Pre-trained, Prompt-learned and Pre-finetuned Neural Ranker (P$^3$ Ranker). P$^3$ Ranker leverages prompt-based learning to convert the ranking task into a pre-training like schema and uses pre-finetuning to initialize the model on intermediate supervised tasks. Experiments on MS MARCO and Robust04 show the superior performances of P$^3$ Ranker in few-shot ranking. Analyses reveal that P$^3$ Ranker is able to better accustom to the ranking task through prompt-based learning and retrieve necessary ranking-oriented knowledge gleaned in pre-finetuning, resulting in data-efficient PLM adaptation. Our code is available at \url{https://github.com/NEUIR/P3Ranker}.
• Abstract（参考訳）: 他の言語タスクと比較して、検索ランキングに事前学習された言語モデル(plm)を適用すると、多くのニュアンスとトレーニング信号が必要になる。 本稿では,事前学習とランキングの微調整の2つのミスマッチ,すなわち,学習目標とモデルアーキテクチャの違いに関するトレーニングスキーマギャップと,ランキングに必要な知識と事前学習中に学習した知識の相違を考慮したタスク知識ギャップを同定・検討する。 これらのギャップを軽減するために, 事前学習型, Prompt学習型, Prefinetuned Neural Ranker (P$^3$ Ranker)を提案する。 P$^3$ Rankerは、プロンプトベースの学習を活用して、ランキングタスクを事前トレーニングのようなスキーマに変換する。 MS MARCO と Robust04 での実験では、P$^3$ Ranker の優位性を示した。 分析によると、P$^3$ Rankerは、素早い学習を通じてランキングタスクに慣れ、必要なランキング指向の知識を事前に習得し、データ効率のよいPLM適応をもたらす。 我々のコードは \url{https://github.com/NEUIR/P3Ranker} で入手できる。

関連論文リスト

• Full Stage Learning to Rank: A Unified Framework for Multi-Stage Systems [40.199257203898846]
  我々は,多段階システム,すなわちGPRP(Generalized Probability Ranking Principle)のための改良されたランキング原理を提案する。 GPRPは、システムパイプラインの各ステージにおける選択バイアスと、ユーザの基本的な関心の両方を強調している。 我々の中核的な考え方は、まず次の段階における選択バイアスを推定し、次に下流モジュールの選択バイアスに最もよく適合するランキングモデルを学ぶことである。
  論文  参考訳（メタデータ） (2024-05-08T06:35:04Z)
• InRank: Incremental Low-Rank Learning [85.6380047359139]
  勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。 既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。 InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
  論文  参考訳（メタデータ） (2023-06-20T03:03:04Z)
• QUERT: Continual Pre-training of Language Model for Query Understanding in Travel Domain Search [15.026682829320261]
  旅行ドメイン探索におけるQUERy理解のための継続事前学習型言語モデルQUERTを提案する。 Quertは、旅行ドメイン検索におけるクエリの特徴に対して、4つの調整済み事前訓練タスクで共同で訓練されている。 オンラインビジネスにおけるQUERTの改善を確認するため、QUERTをデプロイし、Fliggy APP上でA/Bテストを実施します。
  論文  参考訳（メタデータ） (2023-06-11T15:39:59Z)
• Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
  差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。 鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。 PlugLMは4つのドメインで平均3.95のF1改善を実現している。
  論文  参考訳（メタデータ） (2023-05-19T10:01:55Z)
• Learning a Better Initialization for Soft Prompts via Meta-Learning [58.53984967461313]
  本稿では,プロンプトチューニングを改善するメタPT(Meta-learned Prompt Tuning)を提案する。 まず、事前学習したデータを異なる補助タスクにクラスタリングすることで、その構造を導入する。 これらのタスクをメタ学習アルゴリズムでプロンプトの事前学習に使用する。
  論文  参考訳（メタデータ） (2022-05-25T03:50:23Z)
• PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
  ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。 ピランクは所望の指標をゼロ温度の限界で正確に回収する。
  論文  参考訳（メタデータ） (2020-12-12T05:07:36Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。