論文の概要: FedMEKT: Distillation-based Embedding Knowledge Transfer for Multimodal
Federated Learning
- arxiv url: http://arxiv.org/abs/2307.13214v2
- Date: Tue, 7 Nov 2023 02:15:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 19:21:24.370990
- Title: FedMEKT: Distillation-based Embedding Knowledge Transfer for Multimodal
Federated Learning
- Title（参考訳）: FedMEKT:マルチモーダル・フェデレート学習のための蒸留型埋め込み知識伝達
- Authors: Huy Q. Le, Minh N. H. Nguyen, Chu Myaet Thwal, Yu Qiao, Chaoning
Zhang, and Choong Seon Hong
- Abstract要約: フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、汎用グローバルモデルを共同でトレーニングするための分散機械学習パラダイムを可能にする。
既存のほとんどの研究は、単一モーダルデータのための典型的なFLシステムを提案しており、将来のパーソナライズされたアプリケーションのために価値あるマルチモーダルデータを利用する可能性を制限する。
本稿では,様々なモダリティから表現を活用すべく,半教師付き学習アプローチを用いた新しいマルチモーダルFLフレームワークを提案する。
この概念をシステムに組み込むことで,小型マルチモーダルから抽出した学習モデルの連関知識をサーバとクライアントが交換できる蒸留型多モーダル埋め込み知識伝達機構であるFedMEKTを開発した。
- 参考スコア（独自算出の注目度）: 42.84295556492631
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) enables a decentralized machine learning paradigm for
multiple clients to collaboratively train a generalized global model without
sharing their private data. Most existing works simply propose typical FL
systems for single-modal data, thus limiting its potential on exploiting
valuable multimodal data for future personalized applications. Furthermore, the
majority of FL approaches still rely on the labeled data at the client side,
which is limited in real-world applications due to the inability of
self-annotation from users. In light of these limitations, we propose a novel
multimodal FL framework that employs a semi-supervised learning approach to
leverage the representations from different modalities. Bringing this concept
into a system, we develop a distillation-based multimodal embedding knowledge
transfer mechanism, namely FedMEKT, which allows the server and clients to
exchange the joint knowledge of their learning models extracted from a small
multimodal proxy dataset. Our FedMEKT iteratively updates the generalized
global encoders with the joint embedding knowledge from the participating
clients. Thereby, to address the modality discrepancy and labeled data
constraint in existing FL systems, our proposed FedMEKT comprises local
multimodal autoencoder learning, generalized multimodal autoencoder
construction, and generalized classifier learning. Through extensive
experiments on three multimodal human activity recognition datasets, we
demonstrate that FedMEKT achieves superior global encoder performance on linear
evaluation and guarantees user privacy for personal data and model parameters
while demanding less communication cost than other baselines.
- Abstract（参考訳）: フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、汎用グローバルモデルを共同でトレーニングするための分散機械学習パラダイムを可能にする。
既存の作品の多くは単にシングルモーダルデータのための典型的なflシステムを提案し、将来のパーソナライズされたアプリケーションのために価値のあるマルチモーダルデータを利用する可能性を制限する。
さらに、flアプローチの大部分はクライアント側のラベル付きデータに依存しており、ユーザからの自己注釈ができないため、現実世界のアプリケーションでは制限されている。
これらの制約を考慮し,様々なモダリティから表現を活用すべく,半教師付き学習アプローチを用いた新しいマルチモーダルFLフレームワークを提案する。
そこで我々は,この概念をシステムに持ち込むことで,小規模のマルチモーダルプロキシデータセットから抽出した学習モデルの共有知識をサーバとクライアントが交換できる,蒸留ベースのマルチモーダル埋め込み知識伝達機構feedmektを開発した。
当社のfeedmektは,汎用的なグローバルエンコーダを,参加者のクライアントによる統合組み込み知識によって反復的に更新する。
これにより、既存のFLシステムにおけるモダリティの相違やラベル付きデータ制約に対処するため、FedMEKTは局所的なマルチモーダルオートエンコーダ学習、一般化されたマルチモーダルオートエンコーダ構築、一般化された分類器学習を含む。
3つのマルチモーダルなヒューマンアクティビティ認識データセットに関する広範な実験を通じて、FedMEKTは線形評価において優れたグローバルエンコーダ性能を実現し、他のベースラインよりも通信コストの少ない個人データやモデルパラメータのユーザプライバシを保証することを実証した。
関連論文リスト
- FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts [4.412721048192925]
我々は、データ不均一性に対処するための効率的パーソナライズされたFederated LearningフレームワークであるFedMoEを紹介する。
FedMoEは2つの微調整段階から構成されており、第1段階では、観測されたアクティベーションパターンに基づいて探索を行うことで問題を単純化する。
第2段階では、これらのサブモデルはさらなるトレーニングのためにクライアントに配布され、サーバ集約のために返される。
論文 参考訳（メタデータ） (2024-08-21T03:16:12Z) - Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。
具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。
マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
論文 参考訳（メタデータ） (2024-05-18T12:16:01Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning
with Hierarchical Aggregation [16.308470947384134]
HA-Fedformerは新しいトランスフォーマーベースのモデルで、クライアントでのアンモダルデータセットのみを使用して、単一モダルトレーニングを可能にする。
我々は,マルコフ連鎖モンテカルロサンプリングを用いた局所エンコーダの不確実性を考慮したアグリゲーション法を開発した。
一般的な感情分析ベンチマークであるCMU-MOSIとCMU-MOSEIの実験は、HA-Fedformerが最先端のマルチモーダルモデルを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2023-03-27T07:07:33Z) - Multimodal Federated Learning via Contrastive Representation Ensemble [17.08211358391482]
フェデレーテッド・ラーニング(FL)は、集中型機械学習に代わるプライバシ意識の代替手段として機能する。
既存のFLメソッドはすべて、モデルアグリゲーションを単一のモダリティレベルに依存している。
マルチモーダルFL(CreamFL)のためのコントラスト表現アンサンブルとアグリゲーションを提案する。
論文 参考訳（メタデータ） (2023-02-17T14:17:44Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T05:18:32Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Personalized Retrogress-Resilient Framework for Real-World Medical
Federated Learning [8.240098954377794]
本稿では,各クライアントに対して優れたパーソナライズモデルを生成するために,パーソナライズされた回帰耐性フレームワークを提案する。
実世界の皮膚内視鏡的FLデータセットに関する実験により、我々のパーソナライズされた回帰抵抗性フレームワークが最先端のFL手法より優れていることが証明された。
論文 参考訳（メタデータ） (2021-10-01T13:24:29Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。