論文の概要: Modeling Relevance Ranking under the Pre-training and Fine-tuning Paradigm

• arxiv url: http://arxiv.org/abs/2108.05652v1
• Date: Thu, 12 Aug 2021 10:37:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-13 22:44:23.157392
• Title: Modeling Relevance Ranking under the Pre-training and Fine-tuning Paradigm
• Title（参考訳）: 事前学習と微調整のパラダイムによる関係ランキングのモデル化
• Authors: Lin Bo, Liang Pang, Gang Wang, Jun Xu, XiuQiang He, Ji-Rong Wen
• Abstract要約: 本稿では,ユーザのビューとシステムビューの両方を考慮した,Pre-Rankという新しいランキングフレームワークを提案する。 ユーザの関連性のビューをモデル化するために、Pre-Rankは、大規模なユーザアクティビティデータに基づいて、初期クエリドキュメント表現を事前トレーニングする。 システムの関連性に関する見解をモデル化するために、Pre-Rankはエキスパートラベルの関連データに基づいてモデルをさらに微調整する。
• 参考スコア（独自算出の注目度）: 44.96049217770624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, pre-trained language models such as BERT have been applied to document ranking for information retrieval, which first pre-train a general language model on an unlabeled large corpus and then conduct ranking-specific fine-tuning on expert-labeled relevance datasets. Ideally, an IR system would model relevance from a user-system dualism: the user's view and the system's view. User's view judges the relevance based on the activities of "real users" while the system's view focuses on the relevance signals from the system side, e.g., from the experts or algorithms, etc. Inspired by the user-system relevance views and the success of pre-trained language models, in this paper we propose a novel ranking framework called Pre-Rank that takes both user's view and system's view into consideration, under the pre-training and fine-tuning paradigm. Specifically, to model the user's view of relevance, Pre-Rank pre-trains the initial query-document representations based on large-scale user activities data such as the click log. To model the system's view of relevance, Pre-Rank further fine-tunes the model on expert-labeled relevance data. More importantly, the pre-trained representations, are fine-tuned together with handcrafted learning-to-rank features under a wide and deep network architecture. In this way, Pre-Rank can model the relevance by incorporating the relevant knowledge and signals from both real search users and the IR experts. To verify the effectiveness of Pre-Rank, we showed two implementations by using BERT and SetRank as the underlying ranking model, respectively. Experimental results base on three publicly available benchmarks showed that in both of the implementations, Pre-Rank can respectively outperform the underlying ranking models and achieved state-of-the-art performances.
• Abstract（参考訳）: 近年,BERT などの事前学習言語モデルは,まず未ラベルの大規模コーパス上で汎用言語モデルを事前学習し,専門家ラベルの関連データセット上でランキング固有の微調整を行う情報検索のための文書ランキングに応用されている。 理想的には、IRシステムは、ユーザのビューとシステムのビューという、ユーザシステムの双対性から妥当性をモデル化する。 ユーザビューは"実際のユーザ"のアクティビティに基づいて関連性を判断する一方で、システムのビューはシステム側、例えば専門家やアルゴリズムからの関連シグナルに焦点を当てている。 本稿では,ユーザ・システム関連ビューと事前学習言語モデルの成功に触発されて,事前学習および微調整のパラダイムの下で,ユーザ・ビューとシステム・ビューの両方を考慮に入れたPre-Rankという新しいランキングフレームワークを提案する。 具体的には、ユーザの関連性のビューをモデル化するために、クリックログなどの大規模ユーザアクティビティデータに基づいて、最初のクエリドキュメント表現を事前トレーニングする。 システムの妥当性をモデル化するために、Pre-Rankはエキスパートラベルの関連データに基づいてモデルをさらに微調整する。 さらに重要なのは、事前訓練された表現は、広範で深いネットワークアーキテクチャの下で、手作りの学習 to ランク機能とともに微調整されることだ。 このようにして、Pre-Rankは、実際の検索ユーザーとIRの専門家の両方から関連する知識とシグナルを取り入れることで、関連性をモデル化することができる。 Pre-Rankの有効性を検証するために,BERT と SetRank の2つの実装を基礎となるランキングモデルとして用いた。 3つの公開ベンチマークの実験結果から、Pre-Rankはいずれも基礎となるランキングモデルを上回っ、最先端のパフォーマンスを達成した。

関連論文リスト

• A Visual Interpretation-Based Self-Improved Classification System Using Virtual Adversarial Training [4.722922834127293]
  本稿では,仮想対人訓練(VAT)とBERTモデルを組み合わせた視覚的解釈に基づく自己改善型分類モデルを提案する。 具体的には、テキストの感情を分類するための分類器として、微調整のBERTモデルを用いる。 予測された感情分類ラベルは、半教師付き訓練方法によるスパム分類のための別のBERTの入力の一部として使用される。
  論文  参考訳（メタデータ） (2023-09-03T15:07:24Z)
• Recommender Systems with Generative Retrieval [58.454606442670034]
  本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。 そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。 提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-08T21:48:17Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• Ordinal Graph Gamma Belief Network for Social Recommender Systems [54.9487910312535]
  我々は,階層型ベイズモデルであるオーディナルグラフファクター解析(OGFA)を開発し,ユーザ・イテムとユーザ・ユーザインタラクションを共同でモデル化する。 OGFAは、優れたレコメンデーションパフォーマンスを達成するだけでなく、代表ユーザの好みに応じた解釈可能な潜在因子も抽出する。 我々はOGFAを,マルチ確率層深層確率モデルであるオーディナルグラフガンマ信念ネットワークに拡張する。
  論文  参考訳（メタデータ） (2022-09-12T09:19:22Z)
• TPRM: A Topic-based Personalized Ranking Model for Web Search [9.032465976745305]
  本稿では,ユーザのトピックプロファイルと事前学習した文脈付き用語表現を統合したトピックベースパーソナライズされたランキングモデル(TPRM)を提案する。 実世界のデータセットの実験では、TPRMは最先端のアドホックランキングモデルとパーソナライズされたランキングモデルを大きく上回っている。
  論文  参考訳（メタデータ） (2021-08-13T01:16:55Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。