Fugu-MT 論文翻訳(概要): Federated Reconnaissance: Efficient, Distributed, Class-Incremental Learning

論文の概要: Federated Reconnaissance: Efficient, Distributed, Class-Incremental Learning

arxiv url: http://arxiv.org/abs/2109.00150v1
Date: Wed, 1 Sep 2021 01:51:30 GMT
ステータス: 処理完了
システム内更新日: 2021-09-02 18:49:59.130693
Title: Federated Reconnaissance: Efficient, Distributed, Class-Incremental Learning
Title（参考訳）: Federated Reconnaissance: 効率的、分散、クラスインクリメンタルな学習
Authors: Sean M. Hendryx, Dharma Raj KC, Bradley Walls, Clayton T. Morrison
Abstract要約: 分散クライアントが独立して新しい概念を学習し、その知識を効率的に伝達する学習問題のクラスについて述べる。原型ネットワークは,新たな情報を効果的に取り入れつつ,破滅的な忘れ込みを頑健に行うという,強いアプローチであることがわかった。
参考スコア（独自算出の注目度）: 1.244390243967322
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We describe federated reconnaissance, a class of learning problems in which distributed clients learn new concepts independently and communicate that knowledge efficiently. In particular, we propose an evaluation framework and methodological baseline for a system in which each client is expected to learn a growing set of classes and communicate knowledge of those classes efficiently with other clients, such that, after knowledge merging, the clients should be able to accurately discriminate between classes in the superset of classes observed by the set of clients. We compare a range of learning algorithms for this problem and find that prototypical networks are a strong approach in that they are robust to catastrophic forgetting while incorporating new information efficiently. Furthermore, we show that the online averaging of prototype vectors is effective for client model merging and requires only a small amount of communication overhead, memory, and update time per class with no gradient-based learning or hyperparameter tuning. Additionally, to put our results in context, we find that a simple, prototypical network with four convolutional layers significantly outperforms complex, state of the art continual learning algorithms, increasing the accuracy by over 22% after learning 600 Omniglot classes and over 33% after learning 20 mini-ImageNet classes incrementally. These results have important implications for federated reconnaissance and continual learning more generally by demonstrating that communicating feature vectors is an efficient, robust, and effective means for distributed, continual learning.
Abstract（参考訳）: 本稿では,分散クライアントが個別に新しい概念を学習し,その知識を効率的に伝達する学習問題であるフェデレート偵察について述べる。特に,各クライアントが増加傾向にあるクラスの集合を学習し,それらのクラスの知識を他のクライアントと効率的に伝達することが期待されるシステム評価フレームワークと方法論ベースラインを提案する。この問題に対する学習アルゴリズムを多種多様比較し,新しい情報を効率的に取り入れつつ,破滅的な記憶に頑健な先駆的ネットワークが強固なアプローチであることを見出した。さらに、プロトタイプベクトルのオンライン平均化は、クライアントモデルの統合に有効であり、グラデーションベースの学習やハイパーパラメータチューニングのないクラス毎の通信オーバーヘッド、メモリ、更新時間のみを必要とすることを示す。さらに,コンボリューション層が4つある簡素でプロトタイプ的なネットワークが,複雑な,最先端の連続学習アルゴリズムを著しく上回り,600のomniglotクラスを学習した後で22%,20のmini-imagenetクラスをインクリメンタルに学習した後で33%以上精度を高めていることがわかった。これらの結果は, コミュニケーション特徴ベクトルが分散的連続学習において, 効率的かつ堅牢かつ効果的な手段であることを実証することにより, 連合偵察と継続学習に重要な意味を持つ。

関連論文リスト

FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Reinforcement Learning Based Multi-modal Feature Fusion Network for Novel Class Discovery [47.28191501836041]
本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
論文参考訳（メタデータ） (2023-08-26T07:55:32Z)
Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文参考訳（メタデータ） (2023-06-21T01:43:25Z)
PeFLL: Personalized Federated Learning by Learning to Learn [16.161876130822396]
PeFLLは,3つの側面で最先端の学習を改善する,個人化された新しいフェデレーション学習アルゴリズムである。 PeFLLの中核には、埋め込みネットワークとハイパーネットワークを共同でトレーニングする学習から学習へのアプローチがある。
論文参考訳（メタデータ） (2023-06-08T19:12:42Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
FedClassAvg: Local Representation Learning for Personalized Federated Learning on Heterogeneous Neural Networks [21.613436984547917]
我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。 FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
論文参考訳（メタデータ） (2022-10-25T08:32:08Z)
Addressing Client Drift in Federated Continual Learning with Adaptive Optimization [10.303676184878896]
本稿では,NetTailorを連続学習候補として活用することにより,FCL(Federated Continual Learning)を実現するための枠組みを概説する。適応型フェデレーション最適化は,クライアントドリフトの悪影響を低減し,CIFAR100,MiniImagenet,Deathlonベンチマーク上での有効性を示す。
論文参考訳（メタデータ） (2022-03-24T20:00:03Z)
FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2021-08-30T15:39:54Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)
CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文参考訳（メタデータ） (2020-12-15T12:20:28Z)
ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
論文参考訳（メタデータ） (2020-06-27T13:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。