論文の概要: ProtoFL: Unsupervised Federated Learning via Prototypical Distillation

• arxiv url: http://arxiv.org/abs/2307.12450v2
• Date: Tue, 8 Aug 2023 01:42:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 16:13:37.351098
• Title: ProtoFL: Unsupervised Federated Learning via Prototypical Distillation
• Title（参考訳）: ProtoFL: 原型蒸留による教師なしフェデレーション学習
• Authors: Hansol Kim, Youngjun Kwak, Minyoung Jung, Jinho Shin, Youngsung Kim, Changick Kim
• Abstract要約: フェデレーション学習は、データのプライバシ保護を強化するための有望なアプローチである。 本稿では,非教師付きフェデレート学習に基づくプロトタイプ表現蒸留である'ProtoFL'を提案する。 正規化フローに基づく局所的な一クラス分類器を導入し,データ制限による性能向上を図る。
• 参考スコア（独自算出の注目度）: 24.394455010267617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a promising approach for enhancing data privacy preservation, particularly for authentication systems. However, limited round communications, scarce representation, and scalability pose significant challenges to its deployment, hindering its full potential. In this paper, we propose 'ProtoFL', Prototypical Representation Distillation based unsupervised Federated Learning to enhance the representation power of a global model and reduce round communication costs. Additionally, we introduce a local one-class classifier based on normalizing flows to improve performance with limited data. Our study represents the first investigation of using FL to improve one-class classification performance. We conduct extensive experiments on five widely used benchmarks, namely MNIST, CIFAR-10, CIFAR-100, ImageNet-30, and Keystroke-Dynamics, to demonstrate the superior performance of our proposed framework over previous methods in the literature.
• Abstract（参考訳）: フェデレートラーニング(FL)は、特に認証システムにおいて、データのプライバシ保護を強化するための有望なアプローチである。 しかしながら、ラウンドコミュニケーションの制限、表現の不足、スケーラビリティは、デプロイメントに重大な課題をもたらし、その潜在能力を完全に阻害する。 本稿では,グローバルモデルの表現力を高め,ラウンドコミュニケーションコストを削減するために,教師なしフェデレーション学習に基づく原型的表現蒸留法である「protofl」を提案する。 さらに,正規化フローに基づく局所的な一クラス分類器を導入し,データ制限による性能向上を図る。 本研究は,FLを用いた一級分類性能向上のための最初の研究である。 我々は,MNIST, CIFAR-10, CIFAR-100, ImageNet-30, Keystroke-Dynamicsの5つの広く利用されているベンチマークにおいて,従来の手法よりも優れた性能を示した。

関連論文リスト

• Federated Class-Incremental Learning with Hierarchical Generative Prototypes [10.532838477096055]
  Federated Learning (FL)は、複数のデバイス(クライアント)に分散した計算をすることで、ディープモデルのトレーニングを解き放つことを目的としている。 提案手法は,学習可能なプロンプトを用いてトレーニング済みのバックボーンを効率よく微調整することにより,最終層のバイアスを抑える。 提案手法は現状を著しく改善し, 平均精度は+7.8%向上した。
  論文  参考訳（メタデータ） (2024-06-04T16:12:27Z)
• ILLUMINER: Instruction-tuned Large Language Models as Few-shot Intent Classifier and Slot Filler [1.9015367254988451]
  本研究では、インテント分類(IC)とスロットフィリング(SF)のための人気のあるベンチマークデータセット上で、命令調整モデル(インストラクション-LLM)を評価する。 Instruct-LLM の言語生成タスクとして IC と SF をフレーミングする ILLUMINER を導入する。 FLAN-T5 11Bモデルを用いた複数のベースラインとの総合的な比較から,本手法は最先端のジョイントIC+SF法やGPT3.5 (175B) を用いたテキスト内学習よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-26T09:41:21Z)
• Efficient Prompt Tuning of Large Vision-Language Model for Fine-Grained Ship Classification [62.425462136772666]
  リモートセンシング(RS-FGSC)における船のきめ細かい分類は、クラス間の高い類似性とラベル付きデータの限られた可用性のために大きな課題となる。 大規模な訓練済みビジョンランゲージモデル(VLM)の最近の進歩は、少数ショット学習やゼロショット学習において印象的な能力を示している。 本研究は, 船種別分類精度を高めるために, VLMの可能性を生かしたものである。
  論文  参考訳（メタデータ） (2024-03-13T05:48:58Z)
• Federated Continual Novel Class Learning [68.05835753892907]
  本稿では,グローバルな新規クラス数を正確に推定できるグローバルアライメント学習フレームワークを提案する。 Galは新規クラスの性能を大幅に改善し、精度は5.1%から10.6%に向上した。 Galは、様々な主流のフェデレートラーニングアルゴリズムに新しいクラス発見と学習能力を持たせるのに効果的であることが示されている。
  論文  参考訳（メタデータ） (2023-12-21T00:31:54Z)
• Guiding The Last Layer in Federated Learning with Pre-Trained Models [18.382057374270143]
  フェデレートラーニング(FL)は、データを共有することなく、多数の参加者にまたがってモデルをトレーニングできる新興パラダイムである。 NCM(Nearest Class Means)を用いた分類ヘッドの適合は,既存の提案よりも正確に,桁違いに効率的に行えることを示す。
  論文  参考訳（メタデータ） (2023-06-06T18:02:02Z)
• Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
  VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。 サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。 新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
  論文  参考訳（メタデータ） (2022-09-30T17:59:27Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• On the Impact of Device and Behavioral Heterogeneity in Federated Learning [5.038980064083677]
  フェデレーション学習(fl)は、非信頼エンティティが所有する分散プライベートデータセット上での協調学習のための一般的なパラダイムになりつつある。 本稿では,多くの異種データセット,デバイス,ネットワーク上でのトレーニングを行う課題について述べる。 5つのFLベンチマークで1.5Kのユニークな構成にまたがる経験的研究を行った。
  論文  参考訳（メタデータ） (2021-02-15T12:04:38Z)
• FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
  フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。 既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。 本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
  論文  参考訳（メタデータ） (2020-12-06T15:46:04Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。