論文の概要: Deep Hierarchy Quantization Compression algorithm based on Dynamic
Sampling
- arxiv url: http://arxiv.org/abs/2212.14760v1
- Date: Fri, 30 Dec 2022 15:12:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 17:41:31.985079
- Title: Deep Hierarchy Quantization Compression algorithm based on Dynamic
Sampling
- Title(参考訳): 動的サンプリングに基づくディープ階層量子化圧縮アルゴリズム
- Authors: Wan Jiang, Gang Liu, Xiaofeng Chen, Yipeng Zhou
- Abstract要約: フェデレーションされた機械学習は、トレーニングのためにデータをローカルに保存し、サーバ上でモデルを集約する。
トレーニングプロセス中、モデルパラメータの送信はネットワーク帯域にかなりの負荷を与える可能性がある。
本稿では,データ転送によるネットワーク負荷を低減し,モデルをさらに圧縮する階層的量子化圧縮アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 11.439540966972212
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unlike traditional distributed machine learning, federated learning stores
data locally for training and then aggregates the models on the server, which
solves the data security problem that may arise in traditional distributed
machine learning. However, during the training process, the transmission of
model parameters can impose a significant load on the network bandwidth. It has
been pointed out that the vast majority of model parameters are redundant
during model parameter transmission. In this paper, we explore the data
distribution law of selected partial model parameters on this basis, and
propose a deep hierarchical quantization compression algorithm, which further
compresses the model and reduces the network load brought by data transmission
through the hierarchical quantization of model parameters. And we adopt a
dynamic sampling strategy for the selection of clients to accelerate the
convergence of the model. Experimental results on different public datasets
demonstrate the effectiveness of our algorithm.
- Abstract(参考訳): 従来の分散機械学習とは異なり、フェデレーション学習はトレーニングのためにデータをローカルに保存し、それをサーバに集約することで、従来の分散機械学習で発生するデータセキュリティ問題を解決する。
しかしながら、トレーニングプロセス中にモデルパラメータの送信は、ネットワーク帯域幅にかなりの負荷を課す可能性がある。
モデルパラメータの大部分がモデルパラメータ送信時に冗長であることが指摘されている。
本稿では,選択した部分モデルパラメータのデータ分布則について検討し,さらにモデルを圧縮し,モデルパラメータの階層的量子化を通じてデータ伝達によってもたらされるネットワーク負荷を低減する,深い階層的量子化圧縮アルゴリズムを提案する。
また,モデルの収束を加速するために,クライアントの選択に動的サンプリング戦略を採用する。
公開データセットの異なる実験結果から,提案アルゴリズムの有効性が示された。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Neural Network Diffusion [50.85251415173792]
拡散モデルは画像生成やビデオ生成において顕著な成功を収めた。
本研究は拡散モデルにも適用可能であることを示す。
高性能なニューラルネットワークパラメータを生成する。
論文 参考訳(メタデータ) (2024-02-20T16:59:03Z) - Generative Neural Fields by Mixtures of Neural Implicit Functions [43.27461391283186]
本稿では,暗黙的ベースネットワークの線形結合によって表現される生成的ニューラルネットワークを学習するための新しいアプローチを提案する。
提案アルゴリズムは,メタラーニングや自動デコーディングのパラダイムを採用することにより,暗黙のニューラルネットワーク表現とその係数を潜在空間で学習する。
論文 参考訳(メタデータ) (2023-10-30T11:41:41Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - On the Influence of Enforcing Model Identifiability on Learning dynamics
of Gaussian Mixture Models [14.759688428864159]
特異モデルからサブモデルを抽出する手法を提案する。
本手法はトレーニング中のモデルの識別性を強制する。
この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
論文 参考訳(メタデータ) (2022-06-17T07:50:22Z) - Online Model Compression for Federated Learning with Large Models [8.48327410170884]
Online Model Compression (OMC) は、モデルパラメータを圧縮形式で格納し、必要に応じて圧縮するフレームワークである。
OMCは、モデルパラメータのメモリ使用量と通信コストを最大59%削減し、完全精度のトレーニングと比較すると、同等の精度とトレーニング速度が得られる。
論文 参考訳(メタデータ) (2022-05-06T22:43:03Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳(メタデータ) (2022-04-30T06:58:56Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳(メタデータ) (2022-03-23T12:52:49Z) - Prediction-Centric Learning of Independent Cascade Dynamics from Partial
Observations [13.680949377743392]
本稿では,このモデルから生成された予測が正確であるような拡散モデルの学習の問題に対処する。
本稿では,スケーラブルな動的メッセージパッシング手法に基づく計算効率のよいアルゴリズムを提案する。
学習モデルからの抽出可能な推論は,元のモデルと比較して限界確率の予測精度がよいことを示す。
論文 参考訳(メタデータ) (2020-07-13T17:58:21Z) - Learning Queuing Networks by Recurrent Neural Networks [0.0]
データから性能モデルを導出する機械学習手法を提案する。
我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。
これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
論文 参考訳(メタデータ) (2020-02-25T10:56:47Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。