Fugu-MT 論文翻訳(概要): QA Domain Adaptation using Hidden Space Augmentation and Self-Supervised Contrastive Adaptation

論文の概要: QA Domain Adaptation using Hidden Space Augmentation and Self-Supervised Contrastive Adaptation

arxiv url: http://arxiv.org/abs/2210.10861v1
Date: Wed, 19 Oct 2022 19:52:57 GMT
ステータス: 処理完了
システム内更新日: 2022-10-21 13:30:37.281564
Title: QA Domain Adaptation using Hidden Space Augmentation and Self-Supervised Contrastive Adaptation
Title（参考訳）: 隠れ空間拡張と自己監督コントラスト適応を用いたQAドメイン適応
Authors: Zhenrui Yue, Huimin Zeng, Bernhard Kratzwald, Stefan Feuerriegel, Dong Wang
Abstract要約: 質問応答(QA)は、最近、カスタマイズされたドメインからの質問に答えるための印象的な結果を示している。しかし、一般的な課題は、QAモデルを目に見えないターゲットドメインに適応させることである。我々はQAドメイン適応のためのQADAと呼ばれる新しい自己教師型フレームワークを提案する。
参考スコア（独自算出の注目度）: 24.39026345750824
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Question answering (QA) has recently shown impressive results for answering questions from customized domains. Yet, a common challenge is to adapt QA models to an unseen target domain. In this paper, we propose a novel self-supervised framework called QADA for QA domain adaptation. QADA introduces a novel data augmentation pipeline used to augment training QA samples. Different from existing methods, we enrich the samples via hidden space augmentation. For questions, we introduce multi-hop synonyms and sample augmented token embeddings with Dirichlet distributions. For contexts, we develop an augmentation method which learns to drop context spans via a custom attentive sampling strategy. Additionally, contrastive learning is integrated in the proposed self-supervised adaptation framework QADA. Unlike existing approaches, we generate pseudo labels and propose to train the model via a novel attention-based contrastive adaptation method. The attention weights are used to build informative features for discrepancy estimation that helps the QA model separate answers and generalize across source and target domains. To the best of our knowledge, our work is the first to leverage hidden space augmentation and attention-based contrastive adaptation for self-supervised domain adaptation in QA. Our evaluation shows that QADA achieves considerable improvements on multiple target datasets over state-of-the-art baselines in QA domain adaptation.
Abstract（参考訳）: 質問応答(qa)は、最近、カスタマイズされたドメインからの質問に答える素晴らしい結果を示している。しかし、一般的な課題は、QAモデルを目に見えないターゲットドメインに適応させることである。本稿では、QAドメイン適応のためのQADAと呼ばれる新しい自己組織化フレームワークを提案する。 QADAは、トレーニングQAサンプルの拡張に使用される、新しいデータ拡張パイプラインを導入した。既存の方法と異なり、隠れた空間拡張によってサンプルを豊かにする。問題として,マルチホップ同義語とディリクレ分布を用いた拡張トークン埋め込みのサンプルを導入する。コンテキストに対して、カスタムな注意的サンプリング戦略を用いてコンテキストスパンをドロップする学習方法を開発する。さらに、自己教師付き適応フレームワークQADAにコントラスト学習が組み込まれている。既存の手法とは異なり、擬似ラベルを生成し、新しい注意に基づくコントラスト適応手法を用いてモデルを訓練することを提案する。注意重みは、QAモデルが回答を分離し、ソースドメインとターゲットドメインをまたいで一般化するのに役立つ、不一致推定のための情報的特徴を構築するために使用される。我々の知識を最大限に活用するために、我々の研究は、QAにおける自己教師付きドメイン適応に隠れ空間拡張と注意に基づくコントラスト適応を利用する最初のものである。評価の結果,QAドメイン適応における最先端ベースラインよりも,複数のターゲットデータセットに対して大幅な改善が達成された。

関連論文リスト

KaPQA: Knowledge-Augmented Product Question-Answering [59.096607961704656]
我々はAdobe AcrobatとPhotoshop製品に焦点を当てた2つのQAデータセットを紹介した。また、製品QAタスクにおけるモデルの性能を高めるために、新しい知識駆動型RAG-QAフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-22T22:14:56Z)
Utilizing Background Knowledge for Robust Reasoning over Traffic Situations [63.45021731775964]
我々は、インテリジェントトランスポーテーションの補完的な研究側面である交通理解に焦点を当てる。本研究は,豊富なコモンセンス知識を前提として,テキストベースの手法とデータセットを対象とする。交通状況に対するゼロショットQAには3つの知識駆動アプローチを採用しています。
論文参考訳（メタデータ） (2022-12-04T09:17:24Z)
Closed-book Question Generation via Contrastive Learning [20.644215991166895]
コントラスト学習モジュールと回答再構成モジュールを併用した新しいQGモデルを提案する。提案手法を応用して,既存のクローズドブックQAシステムを改善する方法について述べる。
論文参考訳（メタデータ） (2022-10-13T06:45:46Z)
Domain Adaptation for Question Answering via Question Classification [8.828396559882954]
質問回答のための質問分類(QC4QA)という新しい枠組みを提案する。最適化のために、ソースとターゲットドメイン間のドメイン間不一致を最大平均不一致(MMD)距離で低減する。提案したQC4QAの有効性を,複数のデータセットの最先端ベースラインに対して一貫した改善により示す。
論文参考訳（メタデータ） (2022-09-12T03:12:02Z)
Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
論文参考訳（メタデータ） (2022-07-18T18:41:36Z)
Synthetic Question Value Estimation for Domain Adaptation of Question Answering [31.003053719921628]
対象領域のQA性能を改善するために合成質問の有用性を直接推定する質問値推定器(QVE)をトレーニングする新しいアイデアを導入する。このような質問を使用することで、ターゲットドメイン上のヒューマンアノテーションの約15%しか、完全に教師されたベースラインに匹敵するパフォーマンスを達成できません。
論文参考訳（メタデータ） (2022-03-16T20:22:31Z)
Domain-robust VQA with diverse datasets and methods but no target labels [34.331228652254566]
VQAのドメイン適応は、さらなる複雑さのためにオブジェクト認識の適応とは異なる。これらの課題に取り組むために、まず一般的なVQAデータセット間のドメインシフトを定量化します。また,画像領域と質問領域の合成シフトを別々に構築する。
論文参考訳（メタデータ） (2021-03-29T22:24:50Z)
MUTANT: A Training Paradigm for Out-of-Distribution Generalization in Visual Question Answering [58.30291671877342]
MUTANTは、モデルが知覚的に類似しているが意味的に異なる入力の変異に露出する訓練パラダイムである。 MUTANTは、VQA-CPに新しい最先端の精度を確立し、10.57%$改善した。
論文参考訳（メタデータ） (2020-09-18T00:22:54Z)
Knowledge Graph Simple Question Answering for Unseen Domains [9.263766921991452]
我々は新しいドメインに適用可能なデータ中心のドメイン適応フレームワークを提案する。遠方からの監視を用いて、未確認領域のそれぞれの関係を表すキーワードの集合を抽出する。我々のフレームワークはゼロショットベースラインを大幅に改善し、ドメイン間で堅牢です。
論文参考訳（メタデータ） (2020-05-25T11:34:54Z)
Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
教師なし質問回答(QA)を改善するための2つのアプローチを提案する。まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
論文参考訳（メタデータ） (2020-05-06T15:56:06Z)
Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
論文参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。