論文の概要: Curriculum Learning for Dense Retrieval Distillation

• arxiv url: http://arxiv.org/abs/2204.13679v1
• Date: Thu, 28 Apr 2022 17:42:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 15:43:55.716269
• Title: Curriculum Learning for Dense Retrieval Distillation
• Title（参考訳）: 深度検索蒸留のためのカリキュラム学習
• Authors: Hansi Zeng, Hamed Zamani, Vishwa Vinay
• Abstract要約: CL-DRDと呼ばれる総合的なカリキュラム学習に基づく最適化フレームワークを提案する。 CL-DRDは、リグレード(教師)モデルによって生成されたトレーニングデータの難易度を制御する。 3つのパブリックパス検索データセットの実験により,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 20.25741148622744
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown that more effective dense retrieval models can be obtained by distilling ranking knowledge from an existing base re-ranking model. In this paper, we propose a generic curriculum learning based optimization framework called CL-DRD that controls the difficulty level of training data produced by the re-ranking (teacher) model. CL-DRD iteratively optimizes the dense retrieval (student) model by increasing the difficulty of the knowledge distillation data made available to it. In more detail, we initially provide the student model coarse-grained preference pairs between documents in the teacher's ranking and progressively move towards finer-grained pairwise document ordering requirements. In our experiments, we apply a simple implementation of the CL-DRD framework to enhance two state-of-the-art dense retrieval models. Experiments on three public passage retrieval datasets demonstrate the effectiveness of our proposed framework.
• Abstract（参考訳）: 近年の研究では、既存のベース再ランクモデルからランキング知識を抽出することにより、より効果的な高密度検索モデルが得られることが示されている。 本稿では,再ランキング(教師)モデルによって生成された学習データの難易度を制御するcl-drdと呼ばれる汎用カリキュラム学習に基づく最適化フレームワークを提案する。 CL-DRDは、知識蒸留データの難易度を増大させることにより、密集検索(学生)モデルを反復的に最適化する。 より詳しくは、まず、教師のランキングにおける文書間の粗粒度の選好ペアを学生モデルに提供し、徐々に細粒度の文書の順序付け要件へと移行する。 実験では, CL-DRDフレームワークの簡単な実装を適用し, 2つの最先端密度検索モデルを強化する。 3つのパブリックパス検索データセットの実験により,提案手法の有効性が示された。

関連論文リスト

• Retrieval-Oriented Knowledge for Click-Through Rate Prediction [29.55757862617378]
  本稿では,汎用的なプラグ・アンド・プレイ・リトリーバル・オリエント・ナレッジ(ROK)フレームワークを提案する。 検索指向の埋め込み層と知識エンコーダからなる知識ベースは、検索および集約された表現を保存および模倣するために設計されている。 3つの大規模データセットの実験により、ROKは検索ベースのCTRモデルと競合する性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-04-28T20:21:03Z)
• LLM-Augmented Retrieval: Enhancing Retrieval Models Through Language Models and Doc-Level Embedding [2.0257616108612373]
  本稿では,大規模言語モデル拡張によるモデルに依存しないドキュメントレベルの埋め込みフレームワークを提案する。 我々は広く利用されている検索モデルの有効性を大幅に改善することができた。
  論文  参考訳（メタデータ） (2024-04-08T19:29:07Z)
• Distillation Enhanced Generative Retrieval [96.69326099136289]
  生成的検索はテキスト検索において有望な新しいパラダイムであり、関連する通路の識別子文字列を検索対象として生成する。 本研究は, 蒸留による生成的検索をさらに促進するための有効な方向を特定し, DGR という名称の実行可能なフレームワークを提案する。 本研究では,4つの公開データセットに対して実験を行い,DGRが生成的検索手法の最先端性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-16T15:48:24Z)
• Let All be Whitened: Multi-teacher Distillation for Efficient Visual Retrieval [57.17075479691486]
  市販の事前学習型検索モデルから軽量な学生モデルに知識を伝達し,効率的な視覚的検索を可能にする多教師蒸留フレームワークWhiten-MTDを提案する。 ソースコードはhttps://github.com/Maryeon/whiten_mtd.comで公開されています。
  論文  参考訳（メタデータ） (2023-12-15T11:43:56Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Debias the Black-box: A Fair Ranking Framework via Knowledge Distillation [26.60241524303918]
  本稿では,知識蒸留に基づく公正な情報検索フレームワークを提案する。 このフレームワークは、モデルサイズを著しく減少させながら、モデルの露出ベースの公正性を改善することができる。 また、高いレコメンデーション効率を維持しながら、フェアネスのパフォーマンスを15%46%向上させる。
  論文  参考訳（メタデータ） (2022-08-24T15:59:58Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
  SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。 我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。 全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
  論文  参考訳（メタデータ） (2021-09-21T10:43:42Z)
• Integrating Semantics and Neighborhood Information with Graph-Driven Generative Models for Document Retrieval [51.823187647843945]
  本稿では,周辺情報をグラフ誘導ガウス分布でエンコードし,その2種類の情報をグラフ駆動生成モデルと統合することを提案する。 この近似の下では、トレーニング対象がシングルトンまたはペアワイズ文書のみを含む用語に分解可能であることを証明し、モデルが非関連文書と同じくらい効率的にトレーニングできることを示す。
  論文  参考訳（メタデータ） (2021-05-27T11:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。