論文の概要: FDAPT: Federated Domain-adaptive Pre-training for Language Models

• arxiv url: http://arxiv.org/abs/2307.06933v2
• Date: Thu, 9 Nov 2023 16:57:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 17:58:45.442936
• Title: FDAPT: Federated Domain-adaptive Pre-training for Language Models
• Title（参考訳）: FDAPT: 言語モデルのためのドメイン適応型事前トレーニング
• Authors: Lekang Jiang, Filip Svoboda, Nicholas D. Lane
• Abstract要約: 本稿では,DAPT(Domain-Adaptive Pre-Training)の具体例について述べる。 FDAPT(Federated Domain-Adaptive Pre-Training)の成績を評価するための総合的実証的研究を行った。 我々はFFDAPT(Frozen Federated Domain-Adaptive Pre-Training)という新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 15.755622890097941
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models (FMs) have shown prominent success in a wide range of tasks. Their applicability to specific domain-task pairings relies on the availability of, both, high-quality data and significant computational resources. These challenges are not new to the field and, indeed, Federated Learning (FL) has been shown to be a promising solution in similar setups. This paper tackles the specific case of Domain-Adaptive Pre-Training (DAPT), a key step in the application of FMs. We conduct the first comprehensive empirical study to evaluate the performance of Federated Domain-Adaptive Pre-Training (FDAPT). We demonstrate that FDAPT can maintain competitive downstream task performance to the centralized baseline in both IID and non-IID situations. Finally, we propose a novel algorithm, Frozen Federated Domain-Adaptive Pre-Training (FFDAPT). FFDAPT improves the computational efficiency by 12.1% on average and exhibits similar downstream task performance to vanilla FDAPT, with general performance fluctuations remaining less than 1%.
• Abstract（参考訳）: ファンデーションモデル(FM)は幅広いタスクにおいて顕著な成功を収めている。 特定のドメインとタスクのペアリングへの適用性は、高品質なデータと重要な計算資源の可用性に依存する。 これらの課題はこの分野では新しいものではなく、実際、フェデレーション学習(fl)は同様のセットアップにおいて有望な解決策であることが示されている。 本稿では,fmsの適用における重要なステップであるdapt(domain-adaptive pre-training)について述べる。 fdapt(federated domain-adaptive pre-training)の性能を評価するため,最初の総合実験を行った。 FDAPT は,ID と非IID の両状況において,集中型ベースラインへの競争力を維持することができることを示した。 最後に,FFDAPT(Frozen Federated Domain-Adaptive Pre-Training)という新しいアルゴリズムを提案する。 FFDAPTは計算効率を平均で12.1%改善し、バニラFDAPTと同様のダウンストリームタスク性能を示し、一般的なパフォーマンス変動は1%未満である。

関連論文リスト

• Unveiling the Superior Paradigm: A Comparative Study of Source-Free Domain Adaptation and Unsupervised Domain Adaptation [52.36436121884317]
  Source-Free Domain Adaptation (SFDA) は、現実のシナリオにおいて、Unsupervised Domain Adaptation (UDA) よりも一般的に優れていることを示す。 SFDAは、時間効率、ストレージ要件、対象とする学習目標、負の移動リスクの低減、過度な適合に対する堅牢性の向上といった利点を提供している。 利用可能なソースデータをマルチSFDA手法に効果的に統合する新しい重み推定法を提案する。
  論文  参考訳（メタデータ） (2024-11-24T13:49:29Z)
• Better Practices for Domain Adaptation [62.70267990659201]
  ドメイン適応(DA)は、ラベルを使わずに、モデルを配置データに適用するためのフレームワークを提供することを目的としている。 DAの明確な検証プロトコルは、文献の悪い実践につながっている。 ドメイン適応手法の3つの分野にまたがる課題を示す。
  論文  参考訳（メタデータ） (2023-09-07T17:44:18Z)
• Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
  非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。 オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-07-30T11:38:46Z)
• Key Design Choices for Double-Transfer in Source-Free Unsupervised Domain Adaptation [18.21955526087808]
  本稿では、SF-UDA(Source-Free Unsupervised Domain Adaptation)における主要な設計選択の詳細な分析を行う。 正規化アプローチ、事前学習戦略、バックボーンアーキテクチャを最も重要な要素として挙げる。 SF-UDAは、標準ベンチマークやバックボーンアーキテクチャよりも競争力があり、データと計算コストのごく一部でUDAと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-02-10T17:00:37Z)
• AF Adapter: Continual Pretraining for Building Chinese Biomedical Language Model [16.657197699107396]
  本研究では,BERT ベースモデルに対して Attention-FFN Adapter という連続事前学習手法を提案する。 メインのアイデアは、各セルフアテンション層とフィードフォワードネットワーク内に、少数のアテンションヘッドと隠れユニットを導入することだ。 トレーニングされたモデルのパラメータの17%に過ぎず、AF Adapterは、強いベースラインに比べて平均で0.6%、2%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2022-11-21T11:30:13Z)
• Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
  教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。 我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:50:46Z)
• Optimizing Two-way Partial AUC with an End-to-end Framework [154.47590401735323]
  ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。 最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。 本論文では,この新指標を最適化するための最初の試行について述べる。
  論文  参考訳（メタデータ） (2022-06-23T12:21:30Z)
• Knowledge Distillation for BERT Unsupervised Domain Adaptation [2.969705152497174]
  トレーニング済みの言語モデルであるBERTは、さまざまな自然言語処理タスクで大幅なパフォーマンス向上を実現している。 蒸留による逆順応法(AAD)を提案する。 ドメイン間感情分類におけるアプローチを30組のドメイン対で評価した。
  論文  参考訳（メタデータ） (2020-10-22T06:51:24Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。