論文の概要: Lottery Hypothesis based Unsupervised Pre-training for Model Compression
in Federated Learning
- arxiv url: http://arxiv.org/abs/2004.09817v1
- Date: Tue, 21 Apr 2020 08:31:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-11 07:40:49.720290
- Title: Lottery Hypothesis based Unsupervised Pre-training for Model Compression
in Federated Learning
- Title（参考訳）: フェデレーション学習におけるモデル圧縮のための教師なし事前学習に基づく宝くじ仮説
- Authors: Sohei Itahara, Takayuki Nishio, Masahiro Morikura and Koji Yamamoto
- Abstract要約: フェデレーション学習(FL)は、モバイルデバイス上でプライバシに敏感なデータを使用してニューラルネットワーク(NN)をトレーニングすることを可能にする。
本稿では,FLに適応した新しい教師なし事前学習手法を提案する。
モデル圧縮による通信コストと計算コストの両方を削減することを目的としている。
- 参考スコア（独自算出の注目度）: 8.90077503980675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) enables a neural network (NN) to be trained using
privacy-sensitive data on mobile devices while retaining all the data on their
local storages. However, FL asks the mobile devices to perform heavy
communication and computation tasks, i.e., devices are requested to upload and
download large-volume NN models and train them. This paper proposes a novel
unsupervised pre-training method adapted for FL, which aims to reduce both the
communication and computation costs through model compression. Since the
communication and computation costs are highly dependent on the volume of NN
models, reducing the volume without decreasing model performance can reduce
these costs. The proposed pre-training method leverages unlabeled data, which
is expected to be obtained from the Internet or data repository much more
easily than labeled data. The key idea of the proposed method is to obtain a
``good'' subnetwork from the original NN using the unlabeled data based on the
lottery hypothesis. The proposed method trains an original model using a
denoising auto encoder with the unlabeled data and then prunes small-magnitude
parameters of the original model to generate a small but good subnetwork. The
proposed method is evaluated using an image classification task. The results
show that the proposed method requires 35\% less traffic and computation time
than previous methods when achieving a certain test accuracy.
- Abstract（参考訳）: フェデレートラーニング(FL)は、ニューラルネットワーク(NN)をモバイルデバイス上でプライバシに敏感なデータを使用してトレーニングし、ローカルストレージ上のすべてのデータを保持可能にする。
しかし、flはモバイルデバイスに対して、大量のnnモデルのアップロードとダウンロードとトレーニングを要求されるような、重い通信と計算タスクを実行するように要求する。
本稿では,モデル圧縮による通信コストと計算コストの削減を目的とした,FLに適応した教師なし事前学習手法を提案する。
通信コストと計算コストはNNモデルのボリュームに大きく依存するため、モデル性能を低下させることなくボリュームを削減できる。
提案手法は、ラベル付きデータよりも、インターネットやデータリポジトリから得られることが期待されるラベル付きデータを活用する。
提案手法の鍵となる考え方は, 抽選仮説に基づく未ラベルデータを用いて, 元のNNから `good'' サブネットワークを得ることである。
提案手法では,非ラベルデータを持つ有線オートエンコーダを用いてオリジナルモデルを訓練し,その原モデルの微小度パラメータを微調整し,小型だが良好なサブネットワークを生成する。
提案手法は画像分類タスクを用いて評価する。
提案手法は, ある試験精度を達成する場合, 従来の手法に比べて, トラヒックと計算時間を35%削減する。
関連論文リスト
- Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - Fast-NTK: Parameter-Efficient Unlearning for Large-Scale Models [17.34908967455907]
マシン・アンラーニング'は、スクラッチから再トレーニングすることなく、不要なデータの選択的削除を提案する。
Fast-NTKはNTKベースの新しいアンラーニングアルゴリズムであり、計算複雑性を大幅に削減する。
論文 参考訳（メタデータ） (2023-12-22T18:55:45Z) - Fast, Distribution-free Predictive Inference for Neural Networks with
Coverage Guarantees [25.798057062452443]
本稿では,予測推論(PI)のための新しい計算効率アルゴリズムを提案する。
データに対する分布的な仮定は不要で、ニューラルネットワークの既存のブートストラップ方式よりも高速に計算できる。
論文 参考訳（メタデータ） (2023-06-11T04:03:58Z) - Low-Resource Music Genre Classification with Cross-Modal Neural Model
Reprogramming [129.4950757742912]
ニューラルモデル再プログラミング(NMR)の概念に基づく低リソース(音楽)分類のための事前学習モデルを活用する新しい手法を提案する。
NMRは、凍結した事前学習モデルの入力を変更することにより、ソースドメインからターゲットドメインへの事前学習モデルの再取得を目指している。
実験結果から,大規模データセットに事前学習したニューラルモデルは,この再プログラミング手法を用いて,音楽ジャンルの分類に成功できることが示唆された。
論文 参考訳（メタデータ） (2022-11-02T17:38:33Z) - Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。
現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。
本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-07-21T08:16:31Z) - Training Large-Vocabulary Neural Language Models by Private Federated
Learning for Resource-Constrained Devices [14.604785223644718]
Federated Learning(FL)は、デバイスに分散したデータを使ってモデルをトレーニングするテクニックである。
差分プライバシー(DP)は、機密データに対して正式なプライバシー保証を提供する。
ペイロードサイズを小さくすることでノイズを低減できる部分埋め込み更新(PEU)を提案する。
論文 参考訳（メタデータ） (2022-07-18T23:53:17Z) - One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks [28.502489028888608]
Unlearnable Example (ULE) は、DNNのトレーニングのための不正使用からデータを保護することを目的としている。
逆行訓練では、誤り最小化ノイズの非学習性は著しく低下する。
本稿では,各画像の1ピクセルのみを摂動させ,データセットを学習不能にする,新しいモデルフリー手法であるemphOne-Pixel Shortcutを提案する。
論文 参考訳（メタデータ） (2022-05-24T15:17:52Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Probing Model Signal-Awareness via Prediction-Preserving Input
Minimization [67.62847721118142]
モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。
SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。
その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
論文 参考訳（メタデータ） (2020-11-25T20:05:23Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。