論文の概要: Question Answering Infused Pre-training of General-Purpose Contextualized Representations

• arxiv url: http://arxiv.org/abs/2106.08190v1
• Date: Tue, 15 Jun 2021 14:45:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 15:15:36.276331
• Title: Question Answering Infused Pre-training of General-Purpose Contextualized Representations
• Title（参考訳）: 汎用文脈化表現の融合事前学習に対する質問応答
• Authors: Robin Jia, Mike Lewis, Luke Zettlemoyer
• Abstract要約: 汎用的文脈表現学習のための質問応答(QA)に基づく事前学習目的を提案する。 我々は、より正確なクロスエンコーダモデルの予測と一致するように、個別にパスと質問をエンコードするバイエンコーダQAモデルをトレーニングすることで、この目標を達成する。 ゼロショット, 少数ショットのパラフレーズ検出において, RoBERTa-large と過去の最先端のどちらよりも大幅に改善した。
• 参考スコア（独自算出の注目度）: 70.62967781515127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a pre-training objective based on question answering (QA) for learning general-purpose contextual representations, motivated by the intuition that the representation of a phrase in a passage should encode all questions that the phrase can answer in context. We accomplish this goal by training a bi-encoder QA model, which independently encodes passages and questions, to match the predictions of a more accurate cross-encoder model on 80 million synthesized QA pairs. By encoding QA-relevant information, the bi-encoder's token-level representations are useful for non-QA downstream tasks without extensive (or in some cases, any) fine-tuning. We show large improvements over both RoBERTa-large and previous state-of-the-art results on zero-shot and few-shot paraphrase detection on four datasets, few-shot named entity recognition on two datasets, and zero-shot sentiment analysis on three datasets.
• Abstract（参考訳）: 本稿では,文中の句の表現が文脈で答えられるすべての質問をエンコードすべきという直感に動機づけられた,汎用的な文脈表現を学習するための質問応答(QA)に基づく事前学習目的を提案する。 この目標を達成するために,800万組の合成QAペア上で,より正確なクロスエンコーダモデルの予測に一致させるために,個別にパスと質問を符号化するバイエンコーダQAモデルを訓練する。 QA関連情報を符号化することにより、バイエンコーダのトークンレベル表現は、広範囲(または場合によっては)微調整なしで、非QA下流タスクに有用である。 4つのデータセットでゼロショットと少数ショットのパラフレーズを検出し、2つのデータセットで少数ショットのエンティティ認識を行い、3つのデータセットでゼロショットの感情分析を行った。

関連論文リスト

• A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
  密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。 我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。 私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
  論文  参考訳（メタデータ） (2024-09-03T13:29:13Z)
• FastFiD: Improve Inference Efficiency of Open Domain Question Answering via Sentence Selection [61.9638234358049]
  FastFiDは、エンコードされたパスで文の選択を実行する新しいアプローチである。 これにより、価値ある文を保持するのに役立ち、回答を生成するのに必要な文脈長を減らすことができる。
  論文  参考訳（メタデータ） (2024-08-12T17:50:02Z)
• Single Sequence Prediction over Reasoning Graphs for Multi-hop QA [8.442412179333205]
  局所推論グラフ(モデル)フットノートコード/モデル上での単一シーケンス予測手法を提案する。 グラフニューラルネットワークを用いて、このグラフ構造を符号化し、結果の表現をモデルのエンティティ表現に融合する。 実験の結果, 正確なマッチング/F1のスコアと, 推論経路におけるグラウンドの忠実度は有意に向上した。
  論文  参考訳（メタデータ） (2023-07-01T13:15:09Z)
• A Symmetric Dual Encoding Dense Retrieval Framework for Knowledge-Intensive Visual Question Answering [16.52970318866536]
  KI-VQA (Knowledge-Intensive Visual Question Answering) とは、画像に答えがない画像についての質問に答えることである。 本稿では, KI-VQAタスクのための新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-04-26T16:14:39Z)
• QASem Parsing: Text-to-text Modeling of QA-based Semantics [19.42681342441062]
  本稿では,QA-SRL,QANom,QADiscourseの3つの意味的タスクについて考察する。 最初に統合されたQASem解析ツールをリリースし、下流アプリケーションに実用的です。
  論文  参考訳（メタデータ） (2022-05-23T15:56:07Z)
• A Hierarchical Reasoning Graph Neural Network for The Automatic Scoring of Answer Transcriptions in Video Job Interviews [14.091472037847499]
  質問応答対の自動評価のための階層型推論グラフニューラルネットワーク(HRGNN)を提案する。 我々は,現在QAセッションの相互作用状態をモデル化するために,意味レベル推論グラフアテンションネットワークを利用する。 最後に,最終予測のための時間的質問応答対を表すゲート再帰単位エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-12-22T12:27:45Z)
• Any-to-One Sequence-to-Sequence Voice Conversion using Self-Supervised Discrete Speech Representations [49.55361944105796]
  シーケンス・ツー・シーケンス・フレームワークにおいて,任意のA2O音声変換(VC)に対して新しいアプローチを提案する。 A2O VCは、トレーニング中に目に見えないものを含むあらゆる話者を、固定されたターゲットスピーカーに変換することを目指している。
  論文  参考訳（メタデータ） (2020-10-23T08:34:52Z)
• Structured Multimodal Attentions for TextVQA [57.71060302874151]
  上述の2つの問題を主に解決するために,終端から終端までの構造化マルチモーダルアテンション(SMA)ニューラルネットワークを提案する。 SMAはまず、画像に現れるオブジェクト・オブジェクト・オブジェクト・テキスト・テキストの関係を符号化するために構造グラフ表現を使用し、その後、それを推論するためにマルチモーダルグラフアテンションネットワークを設計する。 提案モデルでは,テキストVQAデータセットとST-VQAデータセットの2つのタスクを事前学習ベースTAP以外のモデルで比較した。
  論文  参考訳（メタデータ） (2020-06-01T07:07:36Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。