論文の概要: Adapter-based Selective Knowledge Distillation for Federated
Multi-domain Meeting Summarization
- arxiv url: http://arxiv.org/abs/2308.03275v1
- Date: Mon, 7 Aug 2023 03:34:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 15:34:38.843394
- Title: Adapter-based Selective Knowledge Distillation for Federated
Multi-domain Meeting Summarization
- Title（参考訳）: フェデレーション・マルチドメインミーティング要約のためのアダプタによる選択的知識蒸留
- Authors: Xiachong Feng, Xiaocheng Feng, Xiyuan Du, Min-Yen Kan, Bing Qin
- Abstract要約: 会議要約は、利用者に凝縮した要約を提供するための有望な手法として登場した。
本稿では,適応型選択的知識蒸留法(AdaFedSelecKD)を提案する。
- 参考スコア（独自算出の注目度）: 36.916155654985936
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Meeting summarization has emerged as a promising technique for providing
users with condensed summaries. However, existing work has focused on training
models on centralized data, neglecting real-world scenarios where meeting data
are infeasible to collect centrally, due to their sensitive nature. This gap
motivates us to explore federated learning for meeting summarization. Two
critical challenges impede progress. First, state-of-the-art summarizers are
based on parameter-heavy pre-trained models. Exchanging such a model's
parameters across clients imposes large bandwidth costs. Second, as real-world
meeting data belong to various domains and are distributed across clients, they
are instances of non-identically and independently distributed (non-IID). IID
assumptions do not hold, which changes which forms of learning algorithms best
apply. To address this, we propose Adapter-based Federated Selective Knowledge
Distillation (AdaFedSelecKD) for training performant client models.
Specifically, we develop an adapter-based summarization model where two
adapters cooperatively facilitate learning using fewer parameters to reduce
communication costs. Then, we devise a selective knowledge distillation
strategy, assisting clients in robustly handling domain-focused modelling on
their own data, while leveraging global parameters based on non-IID data.
Extensive experiments on the QMSum benchmark demonstrate AdaFedSelecKD can
achieve comparable performance with powerful centralized training methods, and
shows its generalizability and robustness.
- Abstract（参考訳）: 会議要約は、利用者に凝縮した要約を提供するための有望な手法として登場した。
しかしながら、既存の作業は集中型データのトレーニングに重点を置いており、センシティブな性質のため、ミーティングデータが集中的に収集できない現実のシナリオを無視している。
このギャップは、ミーティング要約のための連合学習を探求する動機付けとなります。
2つの重要な課題が進歩を妨げる。
第一に、最先端の要約はパラメーター重な事前学習モデルに基づいている。
このようなモデルのパラメータをクライアント間で変更することは、大きな帯域幅コストを課す。
第2に、現実世界のミーティングデータはさまざまなドメインに属し、クライアント間で分散しているため、非識別的かつ独立した分散(非iid)のインスタンスである。
IID仮定は成り立たないが、どの学習アルゴリズムが最も適しているかが変わる。
そこで本研究では,高性能クライアントモデルの学習のためのアダプタ型フェデレーション選択的知識蒸留法(adafedseleckd)を提案する。
具体的には,2つのアダプタが協調的に少ないパラメータで学習し,通信コストを削減できるアダプタベースの要約モデルを開発する。
そこで我々は,非IIDデータに基づくグローバルパラメータを活用しながら,ドメイン中心のモデリングを自らのデータで堅牢に扱うための,選択的知識蒸留戦略を考案した。
QMSumベンチマークでの大規模な実験は、AdaFedSelecKDが強力な集中型トレーニング手法で同等のパフォーマンスを達成できることを示し、その一般化性と堅牢性を示している。
関連論文リスト
- FedReMa: Improving Personalized Federated Learning via Leveraging the Most Relevant Clients [13.98392319567057]
Federated Learning (FL) は分散機械学習のパラダイムであり、分散計算と周期モデル合成によってグローバルに堅牢なモデルを実現する。
広く採用されているにもかかわらず、既存のFLとPFLの作業は、クラス不均衡の問題に包括的に対処していない。
本稿では,適応型クライアント間コラーニング手法を用いて,クラス不均衡に対処できる効率的なPFLアルゴリズムであるFedReMaを提案する。
論文 参考訳（メタデータ） (2024-11-04T05:44:28Z) - ConDa: Fast Federated Unlearning with Contribution Dampening [46.074452659791575]
ConDaは、各クライアントのグローバルモデルに影響を与えるパラメータを追跡することによって、効率的なアンラーニングを実行するフレームワークである。
複数のデータセットで実験を行い、ConDaがクライアントのデータを忘れるのが効果的であることを実証する。
論文 参考訳（メタデータ） (2024-10-05T12:45:35Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。
本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。
FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
論文 参考訳（メタデータ） (2023-11-15T11:11:25Z) - Elastically-Constrained Meta-Learner for Federated Learning [3.032797107899338]
フェデレートラーニング(Federated Learning)とは、データ共有を禁止する複数のパーティを対象とした、協調的な機械学習モデルに対するアプローチである。
フェデレーション学習の課題の1つは、クライアント間の非制約データである。
論文 参考訳（メタデータ） (2023-06-29T05:58:47Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳（メタデータ） (2021-08-17T17:53:05Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Adaptive Distillation for Decentralized Learning from Heterogeneous
Clients [9.261720698142097]
適応蒸留(DLAD)を用いた分散学習という新しい分散学習手法を提案する。
提案するDLADは, 所定の蒸留試料に高い信頼性を有するクライアントモデルを適応的に強調しながら, クライアントモデルの出力を集約する。
提案手法の有効性を実証するため,複数の公開データセットに対する広範囲な実験的評価を行った。
論文 参考訳（メタデータ） (2020-08-18T14:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。