論文の概要: Data-Free Diversity-Based Ensemble Selection For One-Shot Federated
Learning in Machine Learning Model Market
- arxiv url: http://arxiv.org/abs/2302.11751v1
- Date: Thu, 23 Feb 2023 02:36:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-24 16:28:33.092666
- Title: Data-Free Diversity-Based Ensemble Selection For One-Shot Federated
Learning in Machine Learning Model Market
- Title（参考訳）: 機械学習モデル市場におけるワンショットフェデレーション学習のためのデータ自由多様性に基づくアンサンブル選択
- Authors: Naibo Wang, Wenjie Feng, Fusheng Liu, Moming Duan, See-Kiong Ng
- Abstract要約: 単発フェデレーション学習によって生成されるモデルのアンサンブル選択問題に対処するため,DeDESと呼ばれるデータ自由多様性に基づく新しい手法を提案する。
提案手法は、5つのデータセットと4つの異なるモデル構造よりも優れた性能と高い効率を実現することができる。
- 参考スコア（独自算出の注目度）: 2.9046424358155236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The emerging availability of trained machine learning models has put forward
the novel concept of Machine Learning Model Market in which one can harness the
collective intelligence of multiple well-trained models to improve the
performance of the resultant model through one-shot federated learning and
ensemble learning in a data-free manner. However, picking the models available
in the market for ensemble learning is time-consuming, as using all the models
is not always the best approach. It is thus crucial to have an effective
ensemble selection strategy that can find a good subset of the base models for
the ensemble. Conventional ensemble selection techniques are not applicable, as
we do not have access to the local datasets of the parties in the federated
learning setting. In this paper, we present a novel Data-Free Diversity-Based
method called DeDES to address the ensemble selection problem for models
generated by one-shot federated learning in practical applications such as
model markets. Experiments showed that our method can achieve both better
performance and higher efficiency over 5 datasets and 4 different model
structures under the different data-partition strategies.
- Abstract（参考訳）: 訓練された機械学習モデルの登場により、複数のよく訓練されたモデルの集団的知性を活用して、ワンショットフェデレーション学習とアンサンブル学習による結果モデルのパフォーマンスを向上させる、機械学習モデル市場という新しい概念が推進された。
しかし、アンサンブル学習のための市場で利用可能なモデルの選択は、すべてのモデルを使用することが必ずしも最善のアプローチであるとは限らないため、時間がかかります。
したがって、アンサンブルのベースモデルの優れたサブセットを見つけることができる効果的なアンサンブル選択戦略を持つことが重要である。
従来のアンサンブル選択技術は適用できないが、連邦学習環境における当事者のローカルデータセットにアクセスできない。
本稿では,モデルマーケットなどの実践的応用において,ワンショットフェデレーション学習によるモデルに対するアンサンブル選択問題に対処するために,データ自由多様性に基づく新しい手法DeDESを提案する。
実験により,本手法は5つのデータセットと4つの異なるモデル構造に対して,より優れた性能と高効率を実現することができることがわかった。
関連論文リスト
- Fitting Multiple Machine Learning Models with Performance Based Clustering [8.763425474439552]
従来の機械学習のアプローチは、データが単一の生成メカニズムから来ると仮定している。
本稿では,特徴値と対象値の関係に応じてデータをグループ化することで,この仮定を解消するクラスタリングフレームワークを提案する。
フレームワークをストリーミングデータを持つアプリケーションに拡張し、モデルのアンサンブルを使用して結果を生成する。
論文 参考訳（メタデータ） (2024-11-10T19:38:35Z) - A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
本稿では,2相モデル選択フレームワークを提案する。
これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。
提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
論文 参考訳（メタデータ） (2024-03-28T14:44:44Z) - Personalized Federated Learning with Contextual Modulation and
Meta-Learning [2.7716102039510564]
フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。
本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-23T08:18:22Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Universal Semi-supervised Model Adaptation via Collaborative Consistency
Training [92.52892510093037]
我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。
本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。
実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
論文 参考訳（メタデータ） (2023-07-07T08:19:40Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Differentiable Model Selection for Ensemble Learning [37.99501959301896]
本稿では、機械学習と最適化を統合した微分可能なモデル選択のための新しいフレームワークを提案する。
このフレームワークは、個々の事前学習されたモデルの出力を組み合わせて、特定の入力サンプルに対して適切なアンサンブルメンバーを選択する戦略であるアンサンブル学習用に調整されている。
論文 参考訳（メタデータ） (2022-11-01T03:37:49Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - Model-Contrastive Federated Learning [92.9075661456444]
フェデレーションラーニングにより、複数のパーティがローカルデータを伝達することなく、機械学習モデルを共同でトレーニングできます。
MOON:モデルコントラスト連合学習を提案します。
実験の結果,MOONは様々な画像分類タスクにおいて,他の最先端のフェデレーション学習アルゴリズムよりも優れていた。
論文 参考訳（メタデータ） (2021-03-30T11:16:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。