論文の概要: FDAPT: Federated Domain-adaptive Pre-training for Language Models

• arxiv url: http://arxiv.org/abs/2307.06933v1
• Date: Wed, 12 Jul 2023 17:04:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-14 13:50:35.878229
• Title: FDAPT: Federated Domain-adaptive Pre-training for Language Models
• Title（参考訳）: FDAPT: 言語モデルのためのドメイン適応型事前トレーニング
• Authors: Lekang Jiang, Filip Svoboda, Nicholas D. Lane
• Abstract要約: FDAPT(Federated Domain-Adaptive Pre-training)の成績を評価するための総合的実証的研究を行った。 我々はFFDAPT(Frozen Federated Domain-Adaptive Pre-training)という新しいアルゴリズムを提案する。 FFDAPTは計算効率を平均で12.1%改善し、標準的なFDAPTと同様のダウンストリームタスク性能を示す。
• 参考スコア（独自算出の注目度）: 9.595853312558276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combining Domain-adaptive Pre-training (DAPT) with Federated Learning (FL) can enhance model adaptation by leveraging more sensitive and distributed data while preserving data privacy. However, few studies have focused on this method. Therefore, we conduct the first comprehensive empirical study to evaluate the performance of Federated Domain-adaptive Pre-training (FDAPT). We demonstrate that FDAPT can maintain competitive downstream task performance to the centralized baseline in both IID and non-IID situations. Furthermore, we propose a novel algorithm, Frozen Federated Domain-adaptive Pre-training (FFDAPT). FFDAPT improves the computational efficiency by 12.1% on average and exhibits similar downstream task performance to standard FDAPT, with general performance fluctuations remaining less than 1%. Finally, through a critical evaluation of our work, we identify promising future research directions for this new research area.
• Abstract（参考訳）: ドメイン適応型事前トレーニング(DAPT)とフェデレートラーニング(FL)を組み合わせることで、データプライバシを保護しながら、より機密性の高い分散データを活用することにより、モデル適応性を高めることができる。 しかし、この方法に焦点をあてた研究は少ない。 そこで本研究では,fdapt(federated domain-adaptive pre-training)の性能を評価するため,最初の総合実験を行った。 FDAPT は,ID と非IID の両状況において,集中型ベースラインへの競争力を維持することができることを示した。 さらに,FFDAPT(Frozen Federated Domain-Adaptive Pre-training)という新しいアルゴリズムを提案する。 FFDAPTは計算効率を平均で12.1%改善し、標準的なFDAPTと同様のダウンストリームタスク性能を示し、一般的なパフォーマンス変動は1%未満である。 最後に,本研究の批判的評価を通じて,本研究分野の今後の展望を明らかにする。

関連論文リスト

• Unveiling the Superior Paradigm: A Comparative Study of Source-Free Domain Adaptation and Unsupervised Domain Adaptation [52.36436121884317]
  Source-Free Domain Adaptation (SFDA) は、現実のシナリオにおいて、Unsupervised Domain Adaptation (UDA) よりも一般的に優れていることを示す。 SFDAは、時間効率、ストレージ要件、対象とする学習目標、負の移動リスクの低減、過度な適合に対する堅牢性の向上といった利点を提供している。 利用可能なソースデータをマルチSFDA手法に効果的に統合する新しい重み推定法を提案する。
  論文  参考訳（メタデータ） (2024-11-24T13:49:29Z)
• Better Practices for Domain Adaptation [62.70267990659201]
  ドメイン適応(DA)は、ラベルを使わずに、モデルを配置データに適用するためのフレームワークを提供することを目的としている。 DAの明確な検証プロトコルは、文献の悪い実践につながっている。 ドメイン適応手法の3つの分野にまたがる課題を示す。
  論文  参考訳（メタデータ） (2023-09-07T17:44:18Z)
• Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
  非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。 オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-07-30T11:38:46Z)
• Key Design Choices for Double-Transfer in Source-Free Unsupervised Domain Adaptation [18.21955526087808]
  本稿では、SF-UDA(Source-Free Unsupervised Domain Adaptation)における主要な設計選択の詳細な分析を行う。 正規化アプローチ、事前学習戦略、バックボーンアーキテクチャを最も重要な要素として挙げる。 SF-UDAは、標準ベンチマークやバックボーンアーキテクチャよりも競争力があり、データと計算コストのごく一部でUDAと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-02-10T17:00:37Z)
• AF Adapter: Continual Pretraining for Building Chinese Biomedical Language Model [16.657197699107396]
  本研究では,BERT ベースモデルに対して Attention-FFN Adapter という連続事前学習手法を提案する。 メインのアイデアは、各セルフアテンション層とフィードフォワードネットワーク内に、少数のアテンションヘッドと隠れユニットを導入することだ。 トレーニングされたモデルのパラメータの17%に過ぎず、AF Adapterは、強いベースラインに比べて平均で0.6%、2%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2022-11-21T11:30:13Z)
• Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
  教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。 我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:50:46Z)
• Optimizing Two-way Partial AUC with an End-to-end Framework [154.47590401735323]
  ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。 最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。 本論文では,この新指標を最適化するための最初の試行について述べる。
  論文  参考訳（メタデータ） (2022-06-23T12:21:30Z)
• Knowledge Distillation for BERT Unsupervised Domain Adaptation [2.969705152497174]
  トレーニング済みの言語モデルであるBERTは、さまざまな自然言語処理タスクで大幅なパフォーマンス向上を実現している。 蒸留による逆順応法(AAD)を提案する。 ドメイン間感情分類におけるアプローチを30組のドメイン対で評価した。
  論文  参考訳（メタデータ） (2020-10-22T06:51:24Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。