論文の概要: Quality > Quantity: Synthetic Corpora from Foundation Models for Closed-Domain Extractive Question Answering

• arxiv url: http://arxiv.org/abs/2310.16995v1
• Date: Wed, 25 Oct 2023 20:48:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 23:13:25.277568
• Title: Quality > Quantity: Synthetic Corpora from Foundation Models for Closed-Domain Extractive Question Answering
• Title（参考訳）: 質>量:クローズドドメイン抽出質問応答のための基礎モデルからの合成コーパス
• Authors: Saptarshi Sengupta, Connor Heaton, Shreya Ghosh, Preslav Nakov, Prasenjit Mitra
• Abstract要約: 閉領域内での抽出的質問応答について検討し,対象とする事前学習の概念を紹介する。 提案フレームワークはGalacticaを用いて,特定の書体スタイルやトピックに合わせて合成された「ターゲット」コーパスを生成する。
• 参考スコア（独自算出の注目度）: 35.38140071573828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain adaptation, the process of training a model in one domain and applying it to another, has been extensively explored in machine learning. While training a domain-specific foundation model (FM) from scratch is an option, recent methods have focused on adapting pre-trained FMs for domain-specific tasks. However, our experiments reveal that either approach does not consistently achieve state-of-the-art (SOTA) results in the target domain. In this work, we study extractive question answering within closed domains and introduce the concept of targeted pre-training. This involves determining and generating relevant data to further pre-train our models, as opposed to the conventional philosophy of utilizing domain-specific FMs trained on a wide range of data. Our proposed framework uses Galactica to generate synthetic, ``targeted'' corpora that align with specific writing styles and topics, such as research papers and radiology reports. This process can be viewed as a form of knowledge distillation. We apply our method to two biomedical extractive question answering datasets, COVID-QA and RadQA, achieving a new benchmark on the former and demonstrating overall improvements on the latter. Code available at https://github.com/saptarshi059/CDQA-v1-Targetted-PreTraining/tree/main.
• Abstract（参考訳）: ドメイン適応(Domain adapt)とは、あるドメインでモデルをトレーニングし、それを別のドメインに適用するプロセスである。 ドメイン特化基盤モデル(fm)をスクラッチからトレーニングすることはオプションであるが、近年の手法では、事前訓練されたfmsをドメイン特化タスクに適用することに焦点を当てている。 しかし,本実験により,いずれの手法も対象領域における最先端(SOTA)を常に達成していないことが明らかとなった。 本研究では,クローズドドメイン内の質問応答の抽出について検討し,目標事前学習の概念を紹介する。 これは、広範囲のデータで訓練されたドメイン固有のFMを利用するという従来の哲学とは対照的に、モデルをさらに事前トレーニングするための関連するデータの決定と生成を伴います。 提案フレームワークはGalacticaを用いて,研究論文や放射線学レポートなど,特定の書式やトピックに適合した「ターゲット」コーパスを生成する。 この過程は知識蒸留の一形態と見なすことができる。 本手法をCOVID-QAとRadQAの2つのバイオメディカル抽出質問応答データセットに適用し,前者に対する新たなベンチマークを達成し,後者に対する全体的な改善を示す。 コードはhttps://github.com/saptarshi059/cdqa-v1-targetted-pretraining/tree/main。

関連論文リスト

• Adapting to Distribution Shift by Visual Domain Prompt Generation [34.19066857066073]
  いくつかのラベルのないデータを使って、テスト時にモデルを適応し、分散シフトに対処する。 ソースドメインから移行可能な知識を学ぶための知識銀行を構築します。 提案手法は,WILDSやDomainNetを含む5つの大規模ベンチマークにおいて,従来よりも優れている。
  論文  参考訳（メタデータ） (2024-05-05T02:44:04Z)
• DG-TTA: Out-of-domain medical image segmentation through Domain Generalization and Test-Time Adaptation [43.842694540544194]
  本稿では、ドメインの一般化とテスト時間適応を組み合わせることで、未確認対象領域で事前学習したモデルを再利用するための非常に効果的なアプローチを提案する。 本手法は,事前訓練した全身CTモデルと組み合わせることで,MR画像を高精度に分割できることを実証する。
  論文  参考訳（メタデータ） (2023-12-11T10:26:21Z)
• AdAM: Few-Shot Image Generation via Adaptation-Aware Kernel Modulation [71.58154388819887]
  F SIG(Few-shot Image Generation)は、少数のトレーニングサンプル(例:10)が与えられた新しい多様な画像を生成することを目的としている。 最近の研究は、大規模ソースドメインで事前訓練されたGANを活用し、ターゲットドメインに適応することで、F SIGに対処している。 本稿では、異なるソース・ターゲット領域近傍の一般F SIGに対してAdaptation-Aware kernel Modulation (AdAM)を提案する。
  論文  参考訳（メタデータ） (2023-07-04T03:56:43Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Few-shot Image Generation via Adaptation-Aware Kernel Modulation [33.191479192580275]
  F SIG(Few-shot Image Generation)は、ドメインから非常に限られた数のサンプルが与えられた場合に、新しく多様なサンプルを生成することを目的としている。 最近の研究は、大規模なソースドメインデータセットで事前訓練されたGANを活用して、トランスファーラーニングアプローチを使用してこの問題に対処している。 本稿では、異なるソース・ターゲット領域近傍の一般F SIGに対処するためのAdaptation-Aware kernel Modulation (AdAM)を提案する。
  論文  参考訳（メタデータ） (2022-10-29T10:26:40Z)
• Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from Mixture-of-Experts [33.21435044949033]
  既存のほとんどのメソッドは、単一のモデルを使って複数のソースドメインでトレーニングを行います。 本稿では,知識蒸留プロセスとして定式化された非教師なし試験時間適応のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-08T02:28:10Z)
• Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
  本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。 特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。 このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
  論文  参考訳（メタデータ） (2022-07-18T18:41:36Z)
• Cross Domain Few-Shot Learning via Meta Adversarial Training [34.383449283927014]
  Few-shot Relation Classification (RC) は機械学習における重要な問題の1つである。 先述のクロスドメイン状況を考慮した新しいモデルを提案する。 対象領域のデータに適応する訓練ネットワークを微調整するために,メタベース対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-11T15:52:29Z)
• Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis [96.53859361560505]
  Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。 事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。 我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
  論文  参考訳（メタデータ） (2021-10-26T04:03:45Z)
• Meta-FDMixup: Cross-Domain Few-Shot Learning Guided by Labeled Target Data [95.47859525676246]
  最近の研究では、ソースドメインで訓練された既存の数発の学習手法が、ドメインギャップが観測されると、新しいターゲットドメインに一般化できないことが判明している。 本稿では,クロスドメインFew-Shot Learningにおけるラベル付き目標データが,学習プロセスを支援するために利用されていないことに気付いた。
  論文  参考訳（メタデータ） (2021-07-26T06:15:45Z)
• Source-Free Open Compound Domain Adaptation in Semantic Segmentation [99.82890571842603]
  SF-OCDAでは、ターゲットモデルを学習するために、ソース事前訓練されたモデルとターゲットデータのみが利用可能である。 そこで我々は,Cross-Patch Style Swap (CPSS)を提案する。 提案手法は,C-Drivingデータセット上で最先端の結果を生成する。
  論文  参考訳（メタデータ） (2021-06-07T08:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。