論文の概要: Source-Free Domain Adaptation for Question Answering with Masked Self-training

• arxiv url: http://arxiv.org/abs/2212.09563v1
• Date: Mon, 19 Dec 2022 15:53:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 16:48:16.065872
• Title: Source-Free Domain Adaptation for Question Answering with Masked Self-training
• Title（参考訳）: マスキング自己学習による質問応答のためのソースフリードメイン適応
• Authors: M. Yin, B. Wang, Y. Dong, C. Ling
• Abstract要約: 以前の教師なしドメイン適応(UDA)メソッドは、ターゲットドメインのモデルを微調整しながら、ソースドメインデータにアクセスする必要がある。 ドメイン適応のためのユニークなマスクモジュールを統合したQAモデルに対する新しい自己学習手法を提案する。 4つのベンチマークデータセットに対する実験結果から,本手法は対象領域における事前学習されたQAモデルの性能を大幅に向上させることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most previous unsupervised domain adaptation (UDA) methods for question answering(QA) require access to source domain data while fine-tuning the model for the target domain. Source domain data may, however, contain sensitive information and may be restricted. In this study, we investigate a more challenging setting, source-free UDA, in which we have only the pretrained source model and target domain data, without access to source domain data. We propose a novel self-training approach to QA models that integrates a unique mask module for domain adaptation. The mask is auto-adjusted to extract key domain knowledge while trained on the source domain. To maintain previously learned domain knowledge, certain mask weights are frozen during adaptation, while other weights are adjusted to mitigate domain shifts with pseudo-labeled samples generated in the target domain. %As part of the self-training process, we generate pseudo-labeled samples in the target domain based on models trained in the source domain. Our empirical results on four benchmark datasets suggest that our approach significantly enhances the performance of pretrained QA models on the target domain, and even outperforms models that have access to the source data during adaptation.
• Abstract（参考訳）: 質問応答(QA)のための従来の教師なしドメイン適応(UDA)メソッドは、ターゲットドメインのモデルを微調整しながらソースドメインデータにアクセスする必要がある。 しかし、ソースドメインデータは機密情報を含み、制限されることもある。 本研究では、ソースドメインデータにアクセスすることなく、事前訓練されたソースモデルとターゲットドメインデータしか持たない、より困難な、ソースフリーなUDAについて検討する。 ドメイン適応のためのユニークなマスクモジュールを統合するQAモデルに対する新しい自己学習手法を提案する。 マスクは自動調整され、ソースドメインでトレーニングしながらキードメインの知識を抽出する。 予め学習したドメイン知識を維持するために、特定のマスク重みは適応中に凍結され、他の重み付けはターゲットドメインで生成された擬似ラベルサンプルでドメインシフトを緩和するように調整される。 %) , 自己学習の一環として, ソース領域でトレーニングされたモデルに基づいて, 対象領域で擬似ラベルサンプルを生成する。 4つのベンチマークデータセットに対する実験結果から,本手法は対象領域における事前学習されたQAモデルの性能を著しく向上させ,適応中にソースデータにアクセス可能なモデルよりも優れていることが示唆された。

関連論文リスト

• Subject-Based Domain Adaptation for Facial Expression Recognition [51.10374151948157]
  ディープラーニングモデルを特定の対象個人に適用することは、難しい表情認識タスクである。 本稿では、FERにおける主観的ドメイン適応のための新しいMSDA手法を提案する。 複数の情報源からの情報を効率的に利用して、ディープFERモデルを単一のターゲット個人に適応させる。
  論文  参考訳（メタデータ） (2023-12-09T18:40:37Z)
• Transcending Domains through Text-to-Image Diffusion: A Source-Free Approach to Domain Adaptation [6.649910168731417]
  ドメイン適応(ドメイン適応、Domain Adaptation、DA)は、アノテートデータが不十分なターゲットドメインにおけるモデルの性能を高める方法である。 本研究では,対象領域のサンプルに基づいてトレーニングしたテキスト・ツー・イメージ拡散モデルを用いて,ソースデータを生成する新しいSFDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-02T23:38:17Z)
• DomainInv: Domain Invariant Fine Tuning and Adversarial Label Correction For QA Domain Adaptation [27.661609140918916]
  既存の質問回答システム(QA)は、目に見えない領域やドメイン外分布からの質問に答える能力によって制限される。 最も重要なことは、既存のQAドメイン適応手法は、合成データを生成するか、ターゲットのドメインデータに擬似ラベルを付けたものである。 本稿では,未ラベル対象領域に対する教師なし領域適応を,ソースドメインの監督を引き続き用いながら,ソースドメイン近傍のターゲット表現を転送することで提案する。
  論文  参考訳（メタデータ） (2023-05-04T18:13:17Z)
• RAIN: RegulArization on Input and Network for Black-Box Domain Adaptation [80.03883315743715]
  ソースのないドメイン適応は、ソースデータを公開することなく、ソース訓練されたモデルをターゲットドメインに転送する。 このパラダイムは、ソースモデルに対する敵対的な攻撃のため、データ漏洩のリスクがある。 そこで我々は,入力レベルとネットワークレベルの両方の正規化からブラックボックスドメインを適応させる新しい手法であるRAIN(RegulArization on Input and Network)を提案する。
  論文  参考訳（メタデータ） (2022-08-22T18:18:47Z)
• Unsupervised Domain Adaptation for Segmentation with Black-box Source Model [37.02365343894657]
  ソース領域でのみ訓練されたブラックボックスセグメンテーションモデルを用いて,UDAのセグメンテーションのための実用的な解を提案する。 具体的には,指数混合崩壊(EMD)を伴う知識蒸留方式を用いて,ターゲット固有表現を徐々に学習する。 我々は、BraTS 2018データベース上でフレームワークを評価し、ホワイトボックスのソースモデル適応アプローチと同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-16T14:29:15Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• Open-Set Hypothesis Transfer with Semantic Consistency [99.83813484934177]
  本稿では,対象データの変換における意味的一貫性に着目した手法を提案する。 本モデルはまず,自信ある予測を発見し,擬似ラベルを用いた分類を行う。 その結果、ラベルなしデータは、ソースクラスまたは未知のクラスに一致した識別クラスに分類される。
  論文  参考訳（メタデータ） (2020-10-01T10:44:31Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。