論文の概要: Pretrained Transformers for Text Ranking: BERT and Beyond

• arxiv url: http://arxiv.org/abs/2010.06467v3
• Date: Thu, 19 Aug 2021 16:37:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 00:14:40.958263
• Title: Pretrained Transformers for Text Ranking: BERT and Beyond
• Title（参考訳）: テキストランキングのための事前学習されたトランスフォーマー:bert and beyond
• Authors: Jimmy Lin, Rodrigo Nogueira, and Andrew Yates
• Abstract要約: このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。 トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
• 参考スコア（独自算出の注目度）: 53.83210899683987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of text ranking is to generate an ordered list of texts retrieved from a corpus in response to a query. Although the most common formulation of text ranking is search, instances of the task can also be found in many natural language processing applications. This survey provides an overview of text ranking with neural network architectures known as transformers, of which BERT is the best-known example. The combination of transformers and self-supervised pretraining has been responsible for a paradigm shift in natural language processing (NLP), information retrieval (IR), and beyond. In this survey, we provide a synthesis of existing work as a single point of entry for practitioners who wish to gain a better understanding of how to apply transformers to text ranking problems and researchers who wish to pursue work in this area. We cover a wide range of modern techniques, grouped into two high-level categories: transformer models that perform reranking in multi-stage architectures and dense retrieval techniques that perform ranking directly. There are two themes that pervade our survey: techniques for handling long documents, beyond typical sentence-by-sentence processing in NLP, and techniques for addressing the tradeoff between effectiveness (i.e., result quality) and efficiency (e.g., query latency, model and index size). Although transformer architectures and pretraining techniques are recent innovations, many aspects of how they are applied to text ranking are relatively well understood and represent mature techniques. However, there remain many open research questions, and thus in addition to laying out the foundations of pretrained transformers for text ranking, this survey also attempts to prognosticate where the field is heading.
• Abstract（参考訳）: テキストランキングの目標は、クエリに応じてコーパスから検索されたテキストの順序リストを生成することである。 テキストランキングの最も一般的な定式化は検索であるが、タスクのインスタンスは多くの自然言語処理アプリケーションにも見られる。 このサーベイは、BERTが最も有名な例であるトランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。 トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理(NLP)、情報検索(IR)などにおけるパラダイムシフトの原因となっている。 本研究では,テキストランキング問題に対するトランスフォーマーの適用方法をより深く理解したい実践者や,この分野の作業を追求したい研究者に対して,既存の作業を単一エントリとして合成する。 我々は,多段階アーキテクチャで再ランク付けを行うトランスフォーマーモデルと,直接ランク付けを行う高密度検索技術という,2つのハイレベルなカテゴリに分類する。 長いドキュメントを扱う技術は、NLPの典型的な文単位処理を超えて、有効性(すなわち、結果の品質)と効率性(例えば、クエリ待ち時間、モデルとインデックスサイズ)のトレードオフに対処する技術である。 トランスフォーマーアーキテクチャやプリトレーニング技術は近年のイノベーションであるが、テキストランキングに適用する方法の多くの側面は、比較的よく理解されており、成熟した技術を表している。 しかし、多くのオープンな研究課題が残っており、テキストランキングのための事前訓練されたトランスフォーマーの基礎の整備に加えて、この調査はフィールドがどこに向かっているかの予測も試みている。

関連論文リスト

• Utilizing BERT for Information Retrieval: Survey, Applications, Resources, and Challenges [4.588192657854766]
  本調査は、情報検索(IR)にBERTのような事前訓練されたトランスフォーマーエンコーダを適用するアプローチに焦点を当てる。 i) 長文処理, (ii) 意味情報の統合, (iii) 有効性と効率のバランス, (iv) 用語の重み付け予測, (v) クエリ拡張, (vi) 文書拡張の6つの高レベルカテゴリに分類した。 特定のタスクに対して、細かな調整されたBERTエンコーダは依然としてパフォーマンスが良く、デプロイメントコストも低いことが分かりました。
  論文  参考訳（メタデータ） (2024-02-18T23:22:40Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Transformers are Short Text Classifiers: A Study of Inductive Short Text Classifiers on Benchmarks and Real-world Datasets [2.9443230571766854]
  短いテキスト分類は自然言語処理において重要かつ困難な側面である。 最近の短いテキスト研究において、従来のテキスト分類のためのステート・オブ・ザ・アート(SOTA)手法は明らかにされていない。 我々の実験は、短いテキスト分類タスクにおいて、トランスフォーマーがSOTA精度を達成することを明らかに示している。
  論文  参考訳（メタデータ） (2022-11-30T10:25:24Z)
• Composable Text Controls in Latent Space with ODEs [97.12426987887021]
  本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。 事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。 実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
  論文  参考訳（メタデータ） (2022-08-01T06:51:45Z)
• HLATR: Enhance Multi-stage Text Retrieval with Hybrid List Aware Transformer Reranking [16.592276887533714]
  HLATR(Hybrid List Aware Transformer Re rank)は、検索機能とステージ機能の両方を組み込んだ後継モジュールである。 HLATRは軽量で、既存のテキスト検索システムと容易に並列化できる。 2つの大規模テキスト検索データセットの実証実験により、HLATRは既存の多段階テキスト検索手法のランク付け性能を効率的に向上できることが示された。
  論文  参考訳（メタデータ） (2022-05-21T11:38:33Z)
• Domain Adaptation with Pre-trained Transformers for Query Focused Abstractive Text Summarization [18.791701342934605]
  Query Focused Text Summarization (QFTS)タスクは、与えられたクエリに基づいてテキストドキュメントの要約を生成するシステムを構築することを目的としている。 この課題に対処する上で重要な課題は、要約モデルをトレーニングするための大きなラベル付きデータの欠如である。 本稿では,一連のドメイン適応手法を探求することによって,この問題に対処する。
  論文  参考訳（メタデータ） (2021-12-22T05:34:56Z)
• Transformer Based Language Models for Similar Text Retrieval and Ranking [0.0]
  本稿では,ニューラルトランスモデルを類似したテキスト検索とランキングに効果的に適用するための新しいアプローチを提案する。 提案手法は, 単語のバッグ・オブ・ワード・ベースのステップを排除し, クエリに共通する非単語がなくても, 精度よく検索結果を検索・ランク付けすることができる。
  論文  参考訳（メタデータ） (2020-05-10T06:12:53Z)
• Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
  本稿では,大規模クエリ文書検索問題について考察する。 クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。 本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:44:00Z)
• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
  下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。 本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
  論文  参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。