論文の概要: Context-Aware Transformer Pre-Training for Answer Sentence Selection

• arxiv url: http://arxiv.org/abs/2305.15358v1
• Date: Wed, 24 May 2023 17:10:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 14:02:26.970033
• Title: Context-Aware Transformer Pre-Training for Answer Sentence Selection
• Title（参考訳）: 文選択のための文脈認識トランスプレトレーニング
• Authors: Luca Di Liello, Siddhant Garg, Alessandro Moschitti
• Abstract要約: 本稿では,文脈AS2のダウンストリーム微調整タスクを模倣する3つの事前学習目標を提案する。 実験の結果,事前学習手法により,いくつかのデータセットにおいて,ベースライン文脈AS2精度を最大8%向上できることがわかった。
• 参考スコア（独自算出の注目度）: 102.7383811376319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Answer Sentence Selection (AS2) is a core component for building an accurate Question Answering pipeline. AS2 models rank a set of candidate sentences based on how likely they answer a given question. The state of the art in AS2 exploits pre-trained transformers by transferring them on large annotated datasets, while using local contextual information around the candidate sentence. In this paper, we propose three pre-training objectives designed to mimic the downstream fine-tuning task of contextual AS2. This allows for specializing LMs when fine-tuning for contextual AS2. Our experiments on three public and two large-scale industrial datasets show that our pre-training approaches (applied to RoBERTa and ELECTRA) can improve baseline contextual AS2 accuracy by up to 8% on some datasets.
• Abstract（参考訳）: 回答文選択(as2)は、正確な質問応答パイプラインを構築するためのコアコンポーネントである。 AS2モデルは、与えられた質問に答える確率に基づいて、候補文のセットをランク付けする。 as2の最先端技術は、事前学習されたトランスフォーマーを大きな注釈付きデータセットに転送し、候補文周辺の局所的な文脈情報を利用する。 本稿では,コンテキストas2の下流微調整タスクを模倣した3つの事前学習目標を提案する。 これにより、コンテキストAS2の微調整時にLMを専門化できる。 3つのパブリックデータセットと2つの大規模産業データセットに対する実験により、トレーニング前のアプローチ(RoBERTaとELECTRAが適用)によって、いくつかのデータセットにおいて、ベースラインコンテキストAS2の精度が最大8%向上することが示された。

関連論文リスト

• Datasets for Multilingual Answer Sentence Selection [59.28492975191415]
  ヨーロッパ5言語(フランス語、ドイツ語、イタリア語、ポルトガル語、スペイン語)でAS2のための新しい高品質データセットを導入する。 その結果、我々のデータセットは、堅牢で強力な多言語AS2モデルを作成する上で重要なものであることが示唆された。
  論文  参考訳（メタデータ） (2024-06-14T16:50:29Z)
• Pre-training Transformer Models with Sentence-Level Objectives for Answer Sentence Selection [99.59693674455582]
  本稿では,文書内および文書間における段落レベルの意味論を取り入れた3つの新しい文レベルトランスフォーマー事前学習目標を提案する。 3つのパブリックなAS2データセットと1つの産業用AS2データセットに関する実験は、ベースラインモデルよりも事前訓練されたトランスフォーマーの実証的な優位性を実証している。
  論文  参考訳（メタデータ） (2022-05-20T22:39:00Z)
• In Situ Answer Sentence Selection at Web-scale [120.69820139008138]
  Passage-based Extracting Answer Sentence In-place (PEASI)は、Webスケール設定に最適化されたAS2の新しい設計である。 PEASIをマルチタスク学習フレームワークでトレーニングし,各コンポーネント間の特徴共有を促進する。 実験により、PEASIはAS2の現在の最先端設定、すなわち文を独立してランク付けするためのポイントワイズモデルを6.51%精度で効果的に上回っている。
  論文  参考訳（メタデータ） (2022-01-16T06:36:00Z)
• Answer Generation for Retrieval-based Question Answering Systems [80.28727681633096]
  シーケンス・トゥ・シークエンス・トランスモデルを訓練し、候補集合から解を生成する。 英語のAS2データセットを3つ比較したところ, 精度は32点まで向上した。
  論文  参考訳（メタデータ） (2021-06-02T05:45:49Z)
• Modeling Context in Answer Sentence Selection Systems on a Latency Budget [87.45819843513598]
  本稿では,AS2モデルに文脈情報を効率的に組み込む手法を提案する。 各回答候補について、まず教師なし類似性手法を用いて、その原文から関連文を抽出する。 マルチウェイアテンションアーキテクチャを活用してコンテキストを効率的にエンコードする私たちのベストなアプローチは、AS2の非問合せ状態よりも6%から11%改善し、システムレイテンシに最小限の影響を与えます。
  論文  参考訳（メタデータ） (2021-01-28T16:24:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。