論文の概要: Deep Hierarchy Quantization Compression algorithm based on Dynamic Sampling

• arxiv url: http://arxiv.org/abs/2212.14760v1
• Date: Fri, 30 Dec 2022 15:12:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 17:41:31.985079
• Title: Deep Hierarchy Quantization Compression algorithm based on Dynamic Sampling
• Title（参考訳）: 動的サンプリングに基づくディープ階層量子化圧縮アルゴリズム
• Authors: Wan Jiang, Gang Liu, Xiaofeng Chen, Yipeng Zhou
• Abstract要約: フェデレーションされた機械学習は、トレーニングのためにデータをローカルに保存し、サーバ上でモデルを集約する。 トレーニングプロセス中、モデルパラメータの送信はネットワーク帯域にかなりの負荷を与える可能性がある。 本稿では,データ転送によるネットワーク負荷を低減し,モデルをさらに圧縮する階層的量子化圧縮アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 11.439540966972212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unlike traditional distributed machine learning, federated learning stores data locally for training and then aggregates the models on the server, which solves the data security problem that may arise in traditional distributed machine learning. However, during the training process, the transmission of model parameters can impose a significant load on the network bandwidth. It has been pointed out that the vast majority of model parameters are redundant during model parameter transmission. In this paper, we explore the data distribution law of selected partial model parameters on this basis, and propose a deep hierarchical quantization compression algorithm, which further compresses the model and reduces the network load brought by data transmission through the hierarchical quantization of model parameters. And we adopt a dynamic sampling strategy for the selection of clients to accelerate the convergence of the model. Experimental results on different public datasets demonstrate the effectiveness of our algorithm.
• Abstract（参考訳）: 従来の分散機械学習とは異なり、フェデレーション学習はトレーニングのためにデータをローカルに保存し、それをサーバに集約することで、従来の分散機械学習で発生するデータセキュリティ問題を解決する。 しかしながら、トレーニングプロセス中にモデルパラメータの送信は、ネットワーク帯域幅にかなりの負荷を課す可能性がある。 モデルパラメータの大部分がモデルパラメータ送信時に冗長であることが指摘されている。 本稿では,選択した部分モデルパラメータのデータ分布則について検討し,さらにモデルを圧縮し,モデルパラメータの階層的量子化を通じてデータ伝達によってもたらされるネットワーク負荷を低減する,深い階層的量子化圧縮アルゴリズムを提案する。 また,モデルの収束を加速するために,クライアントの選択に動的サンプリング戦略を採用する。 公開データセットの異なる実験結果から,提案アルゴリズムの有効性が示された。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Variational autoencoder-based neural network model compression [4.992476489874941]
  変分オートエンコーダ(VAE)は、深部生成モデルの一種であり、近年広く使われている。 本稿では,VAEに基づくニューラルネットワークモデル圧縮手法について検討する。
  論文  参考訳（メタデータ） (2024-08-25T09:06:22Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• On the Influence of Enforcing Model Identifiability on Learning dynamics of Gaussian Mixture Models [14.759688428864159]
  特異モデルからサブモデルを抽出する手法を提案する。 本手法はトレーニング中のモデルの識別性を強制する。 この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2022-06-17T07:50:22Z)
• Online Model Compression for Federated Learning with Large Models [8.48327410170884]
  Online Model Compression (OMC) は、モデルパラメータを圧縮形式で格納し、必要に応じて圧縮するフレームワークである。 OMCは、モデルパラメータのメモリ使用量と通信コストを最大59%削減し、完全精度のトレーニングと比較すると、同等の精度とトレーニング速度が得られる。
  論文  参考訳（メタデータ） (2022-05-06T22:43:03Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Prediction-Centric Learning of Independent Cascade Dynamics from Partial Observations [13.680949377743392]
  本稿では,このモデルから生成された予測が正確であるような拡散モデルの学習の問題に対処する。 本稿では,スケーラブルな動的メッセージパッシング手法に基づく計算効率のよいアルゴリズムを提案する。 学習モデルからの抽出可能な推論は,元のモデルと比較して限界確率の予測精度がよいことを示す。
  論文  参考訳（メタデータ） (2020-07-13T17:58:21Z)
• Learning Queuing Networks by Recurrent Neural Networks [0.0]
  データから性能モデルを導出する機械学習手法を提案する。 我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。 これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
  論文  参考訳（メタデータ） (2020-02-25T10:56:47Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。