論文の概要: Paragraph-based Transformer Pre-training for Multi-Sentence Inference

• arxiv url: http://arxiv.org/abs/2205.01228v1
• Date: Mon, 2 May 2022 21:41:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-05 01:29:12.194288
• Title: Paragraph-based Transformer Pre-training for Multi-Sentence Inference
• Title（参考訳）: 多文推論のためのパラグラフ変換器事前学習
• Authors: Luca Di Liello, Siddhant Garg, Luca Soldaini, Alessandro Moschitti
• Abstract要約: マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。 次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
• 参考スコア（独自算出の注目度）: 99.59693674455582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inference tasks such as answer sentence selection (AS2) or fact verification are typically solved by fine-tuning transformer-based models as individual sentence-pair classifiers. Recent studies show that these tasks benefit from modeling dependencies across multiple candidate sentences jointly. In this paper, we first show that popular pre-trained transformers perform poorly when used for fine-tuning on multi-candidate inference tasks. We then propose a new pre-training objective that models the paragraph-level semantics across multiple input sentences. Our evaluation on three AS2 and one fact verification datasets demonstrates the superiority of our pre-training technique over the traditional ones for transformers used as joint models for multi-candidate inference tasks, as well as when used as cross-encoders for sentence-pair formulations of these tasks.
• Abstract（参考訳）: 回答文選択(as2)や事実検証といった推論タスクは通常、個々の文ペア分類器としてトランスフォーマーベースのモデルを微調整することで解決される。 最近の研究では、これらのタスクは複数の候補文の依存性を一緒にモデル化することで恩恵を受けている。 本稿では,マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習トランスフォーマーの性能が低下することを示す。 次に、複数の入力文にまたがる段落レベルの意味論をモデル化する新しい事前学習目的を提案する。 3つのAS2と1つの事実検証データセットに対する評価は、従来のマルチ候補推論タスクのジョイントモデルや、これらのタスクの文対式定式化のクロスエンコーダとして使われる場合よりも、事前学習技術の優位性を示している。

関連論文リスト

• Pre-training Transformer Models with Sentence-Level Objectives for Answer Sentence Selection [99.59693674455582]
  本稿では,文書内および文書間における段落レベルの意味論を取り入れた3つの新しい文レベルトランスフォーマー事前学習目標を提案する。 3つのパブリックなAS2データセットと1つの産業用AS2データセットに関する実験は、ベースラインモデルよりも事前訓練されたトランスフォーマーの実証的な優位性を実証している。
  論文  参考訳（メタデータ） (2022-05-20T22:39:00Z)
• Dependency Learning for Legal Judgment Prediction with a Unified Text-to-Text Transformer [13.896506220470748]
  法的判断予測には、違反した法律記事、告訴、刑期などの一連のサブタスクが含まれる。 LJPに統一されたテキスト・トゥ・テキスト・トランスフォーマーを提案する。 この統合トランスフォーマーは、一般ドメインのテキストで事前訓練されているにもかかわらず、法律ドメイン用に特別に調整された事前訓練されたモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-13T01:38:37Z)
• Discriminative and Generative Transformer-based Models For Situation Entity Classification [8.029049649310211]
  我々は、状況エンティティ(SE)分類タスクを、利用可能なトレーニングデータの量に応じて再検討する。 変換器を用いた変分オートエンコーダを用いて文を低次元の潜在空間に符号化する。
  論文  参考訳（メタデータ） (2021-09-15T17:07:07Z)
• Consistency Regularization for Cross-Lingual Fine-Tuning [61.08704789561351]
  整合性正規化による言語間微調整の改善を提案する。 具体的には、例の整合性正規化を用いて、予測感度を4種類のデータ拡張にペナルティ化する。 XTREMEベンチマークの実験結果から,本手法は様々なタスクにおける言語間微調整を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2021-06-15T15:35:44Z)
• Utilizing Bidirectional Encoder Representations from Transformers for Answer Selection [16.048329028104643]
  我々は、大規模なデータセットにおける言語モデリングタスクにトランスフォーマーベースのモデルを採用し、下流タスクに微調整する。 回答選択タスクに対するBERTモデルの微調整は非常に効果的であり、QAデータセットでは13.1%、CQAデータセットでは18.7%の最大改善が観察されている。
  論文  参考訳（メタデータ） (2020-11-14T03:15:26Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)
• The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
  本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。 現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
  論文  参考訳（メタデータ） (2020-05-05T23:32:01Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。