論文の概要: The Expando-Mono-Duo Design Pattern for Text Ranking with Pretrained Sequence-to-Sequence Models

• arxiv url: http://arxiv.org/abs/2101.05667v1
• Date: Thu, 14 Jan 2021 15:29:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-29 05:03:04.716813
• Title: The Expando-Mono-Duo Design Pattern for Text Ranking with Pretrained Sequence-to-Sequence Models
• Title（参考訳）: 事前学習されたシーケンス・ツー・シーケンスモデルを用いたテキストランク付けのための拡張型モノドゥオデザインパターン
• Authors: Ronak Pradeep, Rodrigo Nogueira, and Jimmy Lin
• Abstract要約: 拡張モノデュオ」と呼ばれるテキストランキング問題に対処する設計パターンを提案する。 基本となる設計は、標準のマルチステージランキングアーキテクチャ内で事前訓練されたシーケンスからシーケンスへのモデルに依存しています。 我々は、MS MARCOパスと文書ランキングタスク、TREC 2020 Deep Learning Track、そして設計を検証するTREC-COVIDチャレンジの実験的結果を示す。
• 参考スコア（独自算出の注目度）: 34.94331039746062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a design pattern for tackling text ranking problems, dubbed "Expando-Mono-Duo", that has been empirically validated for a number of ad hoc retrieval tasks in different domains. At the core, our design relies on pretrained sequence-to-sequence models within a standard multi-stage ranking architecture. "Expando" refers to the use of document expansion techniques to enrich keyword representations of texts prior to inverted indexing. "Mono" and "Duo" refer to components in a reranking pipeline based on a pointwise model and a pairwise model that rerank initial candidates retrieved using keyword search. We present experimental results from the MS MARCO passage and document ranking tasks, the TREC 2020 Deep Learning Track, and the TREC-COVID challenge that validate our design. In all these tasks, we achieve effectiveness that is at or near the state of the art, in some cases using a zero-shot approach that does not exploit any training data from the target task. To support replicability, implementations of our design pattern are open-sourced in the Pyserini IR toolkit and PyGaggle neural reranking library.
• Abstract（参考訳）: 本研究では,複数のドメインのアドホック検索タスクに対して実証的に検証された,"Expando-Mono-Duo"と呼ばれるテキストランキング問題に対処する設計パターンを提案する。 基本となる設計は、標準のマルチステージランキングアーキテクチャ内で事前訓練されたシーケンスからシーケンスへのモデルに依存しています。 拡張(Expando)とは、逆インデックス化の前にテキストのキーワード表現を豊かにする文書拡張技法である。 モノ」と「デュオ」は、キーワード検索を用いて検索した初期候補を再参照するポイントワイズモデルとペアワイズモデルに基づいて、リランクパイプライン内のコンポーネントを指す。 我々は、MS MARCOパスと文書ランキングタスク、TREC 2020 Deep Learning Track、そして設計を検証するTREC-COVIDチャレンジの実験的結果を示す。 これらすべてのタスクにおいて、ターゲットタスクからのトレーニングデータを活用しないゼロショットアプローチを用いる場合、最先端技術に近い有効性を達成する。 複製性をサポートするため、設計パターンの実装はPyserini IRツールキットとPyGaggleニューラルリグレードライブラリでオープンソース化されている。

関連論文リスト

• CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks [20.390672895839757]
  Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。 従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。 生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
  論文  参考訳（メタデータ） (2024-02-02T06:44:22Z)
• KOPPA: Improving Prompt-based Continual Learning with Key-Query Orthogonal Projection and Prototype-based One-Versus-All [24.50129285997307]
  本稿では,新しいキークエリ学習戦略を導入し,マッチング効率を向上し,機能変更の課題に対処する。 提案手法は,現在の最先端手法を最大20%の差で超えた結果を達成するためのモデルである。
  論文  参考訳（メタデータ） (2023-11-26T20:35:19Z)
• Continual Referring Expression Comprehension via Dual Modular Memorization [133.46886428655426]
  Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。 既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。 本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。 学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:58:51Z)
• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• Improving Cross-task Generalization of Unified Table-to-text Models with Compositional Task Configurations [63.04466647849211]
  メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。 本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。 これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
  論文  参考訳（メタデータ） (2022-12-17T02:20:14Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Keyphrase Extraction with Dynamic Graph Convolutional Networks and Diversified Inference [50.768682650658384]
  キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。 最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。 本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
  論文  参考訳（メタデータ） (2020-10-24T08:11:23Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。