論文の概要: Pre-training Transformer Models with Sentence-Level Objectives for Answer Sentence Selection

• arxiv url: http://arxiv.org/abs/2205.10455v1
• Date: Fri, 20 May 2022 22:39:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-05 21:27:01.433303
• Title: Pre-training Transformer Models with Sentence-Level Objectives for Answer Sentence Selection
• Title（参考訳）: 文レベル対象の事前学習型変換器モデルによる解答文選択
• Authors: Luca Di Liello, Siddhant Garg, Luca Soldaini, Alessandro Moschitti
• Abstract要約: 本稿では,文書内および文書間における段落レベルの意味論を取り入れた3つの新しい文レベルトランスフォーマー事前学習目標を提案する。 3つのパブリックなAS2データセットと1つの産業用AS2データセットに関する実験は、ベースラインモデルよりも事前訓練されたトランスフォーマーの実証的な優位性を実証している。
• 参考スコア（独自算出の注目度）: 99.59693674455582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An important task for designing QA systems is answer sentence selection (AS2): selecting the sentence containing (or constituting) the answer to a question from a set of retrieved relevant documents. In this paper, we propose three novel sentence-level transformer pre-training objectives that incorporate paragraph-level semantics within and across documents, to improve the performance of transformers for AS2, and mitigate the requirement of large labeled datasets. Our experiments on three public and one industrial AS2 datasets demonstrate the empirical superiority of our pre-trained transformers over baseline models such as RoBERTa and ELECTRA for AS2.
• Abstract（参考訳）: QAシステムを設計するための重要なタスクは、検索した関連文書の集合から質問に対する回答を含む(または構成する)文を選択する、回答文選択(AS2)である。 本稿では,文書内および文書間における段落レベルの意味論を取り入れた3つの新しい文レベルトランスフォーマーの事前学習目標を提案し,AS2のトランスフォーマーの性能を改善し,大規模ラベル付きデータセットの要求を緩和する。 3つのパブリックおよび1つの産業用AS2データセットに関する実験は、RoBERTaやELECTRA for AS2といったベースラインモデルよりも事前学習したトランスフォーマーの実証的な優位性を実証している。

関連論文リスト

• Datasets for Multilingual Answer Sentence Selection [59.28492975191415]
  ヨーロッパ5言語(フランス語、ドイツ語、イタリア語、ポルトガル語、スペイン語)でAS2のための新しい高品質データセットを導入する。 その結果、我々のデータセットは、堅牢で強力な多言語AS2モデルを作成する上で重要なものであることが示唆された。
  論文  参考訳（メタデータ） (2024-06-14T16:50:29Z)
• Context-Aware Transformer Pre-Training for Answer Sentence Selection [102.7383811376319]
  本稿では,文脈AS2のダウンストリーム微調整タスクを模倣する3つの事前学習目標を提案する。 実験の結果,事前学習手法により,いくつかのデータセットにおいて,ベースライン文脈AS2精度を最大8%向上できることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T17:10:45Z)
• Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
  マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。 次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-02T21:41:14Z)
• Boosting Transformers for Job Expression Extraction and Classification in a Low-Resource Setting [12.489741131691737]
  本稿では,スペイン語テキストにおけるジョブ表現の抽出と分類に取り組むためのアプローチを提案する。 言語の専門家でもドメインの専門家でもないので、多言語XLM-Rトランスモデルを実験する。 XLM-Rモデルと比較して,これらの手法を最大5.3F1点まで改善した。
  論文  参考訳（メタデータ） (2021-09-17T15:21:02Z)
• Answer Generation for Retrieval-based Question Answering Systems [80.28727681633096]
  シーケンス・トゥ・シークエンス・トランスモデルを訓練し、候補集合から解を生成する。 英語のAS2データセットを3つ比較したところ, 精度は32点まで向上した。
  論文  参考訳（メタデータ） (2021-06-02T05:45:49Z)
• Utilizing Bidirectional Encoder Representations from Transformers for Answer Selection [16.048329028104643]
  我々は、大規模なデータセットにおける言語モデリングタスクにトランスフォーマーベースのモデルを採用し、下流タスクに微調整する。 回答選択タスクに対するBERTモデルの微調整は非常に効果的であり、QAデータセットでは13.1%、CQAデータセットでは18.7%の最大改善が観察されている。
  論文  参考訳（メタデータ） (2020-11-14T03:15:26Z)
• Context-based Transformer Models for Answer Sentence Selection [109.96739477808134]
  本稿では,文選択作業における文脈情報の役割を分析する。 本稿では,ローカルとグローバルの2種類のコンテキストを活用するTransformerベースのアーキテクチャを提案する。 その結果,トランスフォーマーモデルにおける局所コンテキストとグローバルコンテキストの組み合わせは,解答文選択の精度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2020-06-01T21:52:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。