論文の概要: Adaptive Federated Distillation for Multi-Domain Non-IID Textual Data

• arxiv url: http://arxiv.org/abs/2508.20557v1
• Date: Thu, 28 Aug 2025 08:51:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.24923
• Title: Adaptive Federated Distillation for Multi-Domain Non-IID Textual Data
• Title（参考訳）: マルチドメイン非IIDテキストデータに対する適応フェデレーション蒸留法
• Authors: Jiahao Xiao, Jiangming Liu,
• Abstract要約: マルチドメイン非IIDシナリオの包括的セットを導入し、多様なデータを含む統一ベンチマークフレームワークを提案する。 実験結果から,本モデルがローカルクライアントの多様性を捉え,既存モデルと比較して性能が向上していることが示唆された。
• 参考スコア（独自算出の注目度）: 6.819856310521865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread success of pre-trained language models has established a new training paradigm, where a global PLM is fine-tuned using task-specific data from local clients. The local data are highly different from each other and can not capture the global distribution of the whole data in real world. To address the challenges of non-IID data in real environments, privacy-preserving federated distillation has been proposed and highly investigated. However, previous experimental non-IID scenarios are primarily identified with the label (output) diversity, without considering the diversity of language domains (input) that is crucial in natural language processing. In this paper, we introduce a comprehensive set of multi-domain non-IID scenarios and propose a unified benchmarking framework that includes diverse data. The benchmark can be used to evaluate the federated learning framework in a real environment. To this end, we propose an Adaptive Federated Distillation (AdaFD) framework designed to address multi-domain non-IID challenges in both homogeneous and heterogeneous settings. Experimental results demonstrate that our models capture the diversity of local clients and achieve better performance compared to the existing works. The code for this paper is available at: https://github.com/jiahaoxiao1228/AdaFD.
• Abstract（参考訳）: 事前学習型言語モデルの成功により、グローバルなPLMをローカルクライアントのタスク固有データを用いて微調整する新たな訓練パラダイムが確立された。 ローカルデータは互いに非常に異なるため、実世界のデータ全体のグローバルな分布をキャプチャすることはできない。 実環境における非IIDデータの課題に対処するため, プライバシ保存型フェデレート蒸留が提案され, 高度に研究されている。 しかし、従来の実験的な非IIDシナリオは、自然言語処理において重要な言語領域(インプット)の多様性を考慮せずに、主にラベル(アウトプット)の多様性と同一視される。 本稿では,多領域非IIDシナリオの包括的集合を導入し,多様なデータを含む統一型ベンチマークフレームワークを提案する。 ベンチマークは、実際の環境でのフェデレーション学習フレームワークの評価に使用することができる。 この目的のために,同種および異種両方の設定において,多ドメイン非IID課題に対処するアダプティブフェデレート蒸留(AdaFD)フレームワークを提案する。 実験結果から,本モデルがローカルクライアントの多様性を捉え,既存モデルと比較して性能が向上していることが示唆された。 この論文のコードは、https://github.com/jiahaoxiao1228/AdaFD.comで公開されている。

関連論文リスト

• UniVarFL: Uniformity and Variance Regularized Federated Learning for Heterogeneous Data [2.6733991338938026]
  UniVarFLは、IIDライクなトレーニングダイナミクスを直接クライアントレベルでエミュレートする新しいFLフレームワークである。 複数のベンチマークデータセットの実験では、UniVarFLが既存のメソッドよりも精度が高いことが示されている。
  論文  参考訳（メタデータ） (2025-06-09T19:25:35Z)
• AFCL: Analytic Federated Continual Learning for Spatio-Temporal Invariance of Non-IID Data [45.66391633579935]
  Federated Continual Learning (FCL)は、分散クライアントがオンラインタスクストリームからグローバルモデルを協調的にトレーニングすることを可能にする。 FCL法は,分散クライアント間の空間的データ不均一性とオンラインタスク間の時間的データ不均一性の両方の課題に直面している。 凍結抽出特徴量から解析的解(すなわち閉形式)を導出することにより,解析的フェデレート連続学習(AFCL)と呼ばれる勾配のない手法を提案する。
  論文  参考訳（メタデータ） (2025-05-18T05:55:09Z)
• Federated Learning with Domain Shift Eraser [16.685557256108265]
  フェデレーテッド・ラーニング(FL)は、デバイスを離れることなくコラボレーティブ・ラーニングのための有望なテクニックとして浮上している。 本稿では,FDSE(Federated Domain Shift Eraser)という新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-17T11:10:31Z)
• Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
  Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。 これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
  論文  参考訳（メタデータ） (2024-04-10T16:44:11Z)
• Dual-Personalizing Adapter for Federated Foundation Models [35.863585349109385]
  本稿では,テスト時間分布シフトを同時に処理するフェデレートデュアルパーソナライズアダプタアーキテクチャを提案する。 提案手法の有効性を,異なるNLPタスクのベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2024-03-28T08:19:33Z)
• Generalizable Metric Network for Cross-domain Person Re-identification [55.71632958027289]
  クロスドメイン(ドメインの一般化)シーンは、Re-IDタスクにおいて課題となる。 既存のほとんどのメソッドは、すべてのドメインのドメイン不変またはロバストな機能を学ぶことを目的としています。 本稿では,サンプルペア空間における標本類似性を調べるために,GMN(Generalizable Metric Network)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T03:05:25Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)
• Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
  人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。 一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。 提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-05T09:15:13Z)
• FDMT: A Benchmark Dataset for Fine-grained Domain Adaptation in Machine Translation [53.87731008029645]
  機械翻訳(FDMT)における実世界のきめ細かいドメイン適応タスクを提案する。 FDMTデータセットは、自動運転車、AI教育、リアルタイムネットワーク、スマートフォンの4つのサブドメインで構成されている。 この新しい設定で定量的な実験と深い分析を行い、きめ細かいドメイン適応タスクをベンチマークします。
  論文  参考訳（メタデータ） (2020-12-31T17:15:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。