論文の概要: Federated Topic Model and Model Pruning Based on Variational Autoencoder
- arxiv url: http://arxiv.org/abs/2311.00314v1
- Date: Wed, 1 Nov 2023 06:00:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 14:47:18.217592
- Title: Federated Topic Model and Model Pruning Based on Variational Autoencoder
- Title(参考訳): 変分オートエンコーダに基づくフェデレーショントピックモデルとモデルプルーニング
- Authors: Chengjie Ma, Yawen Li, Meiyu Liang, Ang Li
- Abstract要約: フェデレートされたトピックモデリングにより、複数のパーティがデータのプライバシを保護しながらモデルを共同でトレーニングできる。
本稿では,各ノードのプライバシを確保しつつ,フェデレートされたトピックモデルを確立する手法を提案し,ニューラルネットワークモデルプルーニングを用いてモデルを高速化する。
実験結果から,フェデレートされたトピックモデルプルーニングは,モデルの性能を確保しつつ,モデルのトレーニング速度を大幅に向上させることができることがわかった。
- 参考スコア(独自算出の注目度): 14.737942599204064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Topic modeling has emerged as a valuable tool for discovering patterns and
topics within large collections of documents. However, when cross-analysis
involves multiple parties, data privacy becomes a critical concern. Federated
topic modeling has been developed to address this issue, allowing multiple
parties to jointly train models while protecting pri-vacy. However, there are
communication and performance challenges in the federated sce-nario. In order
to solve the above problems, this paper proposes a method to establish a
federated topic model while ensuring the privacy of each node, and use neural
network model pruning to accelerate the model, where the client periodically
sends the model neu-ron cumulative gradients and model weights to the server,
and the server prunes the model. To address different requirements, two
different methods are proposed to determine the model pruning rate. The first
method involves slow pruning throughout the entire model training process,
which has limited acceleration effect on the model training process, but can
ensure that the pruned model achieves higher accuracy. This can significantly
reduce the model inference time during the inference process. The second
strategy is to quickly reach the target pruning rate in the early stage of
model training in order to accelerate the model training speed, and then
continue to train the model with a smaller model size after reaching the target
pruning rate. This approach may lose more useful information but can complete
the model training faster. Experimental results show that the federated topic
model pruning based on the variational autoencoder proposed in this paper can
greatly accelerate the model training speed while ensuring the model's
performance.
- Abstract(参考訳): トピックモデリングは、大量のドキュメントコレクション内のパターンやトピックを発見する貴重なツールとして登場した。
しかし、クロス分析が複数の当事者を巻き込む場合、データのプライバシが重要な問題となる。
この問題に対処するためにフェデレーションされたトピックモデリングが開発され、複数のパーティがpri-vacyを保護しながら、共同でモデルをトレーニングできるようになった。
しかし、sce-nario連合にはコミュニケーションとパフォーマンスの課題がある。
そこで本研究では,各ノードのプライバシを確保しつつ,融合トピックモデルを確立する手法を提案する。また,ニューラルネットワークモデルプルーニングを用いてモデルを高速化し,クライアントが定期的にモデルneu-ron累積勾配とモデル重みをサーバに送信し,サーバがモデルをpruneする。
異なる要求に対処するために、モデルプルーニング率を決定する2つの異なる方法を提案する。
第1の方法は、モデルトレーニングプロセス全体のスロープルーニングであり、モデルトレーニングプロセスに限定的な加速効果を持つが、プルーニングされたモデルがより高い精度を達成することを保証する。
これにより、推論プロセス中のモデル推論時間が大幅に短縮される。
第2の戦略は、モデルの訓練速度を加速するために、モデル訓練の初期段階で目標プルーニング率に迅速に到達し、目標プルーニングレートに達した後、より小さなモデルサイズでモデルをトレーニングし続けることである。
このアプローチはより有用な情報を失うかもしれないが、モデルのトレーニングを早く完了させることができる。
実験の結果,本論文で提案する変分オートエンコーダに基づくフェデレーショントピックモデルプルーニングは,モデルの性能を確保しつつ,モデルのトレーニング速度を大幅に向上させることができる。
関連論文リスト
- Pre-Trained Model Recommendation for Downstream Fine-tuning [22.343011779348682]
モデル選択は、市販の事前訓練されたモデルをランク付けし、新しいターゲットタスクに最も適したモデルを選択することを目的としている。
既存のモデル選択テクニックはスコープ内で制約されることが多く、モデルとタスク間の微妙な関係を見落としてしまう傾向があります。
我々は,多種多様な大規模モデルリポジトリを探索する実用的フレームワーク textbfFennec を提案する。
論文 参考訳(メタデータ) (2024-03-11T02:24:32Z) - A-SDM: Accelerating Stable Diffusion through Redundancy Removal and
Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。
次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。
第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文 参考訳(メタデータ) (2023-12-24T15:37:47Z) - $\Delta$-Patching: A Framework for Rapid Adaptation of Pre-trained
Convolutional Networks without Base Performance Loss [71.46601663956521]
大規模なデータセットで事前トレーニングされたモデルはしばしば、時間とともにやってくる新しいタスクやデータセットをサポートするように微調整される。
モデルコピーを格納することなく、効率よく微調整ニューラルネットワークモデルに$Delta$-Patchingを提案する。
我々の実験によると、$Delta$-Networksは、トレーニングされるパラメータのごく一部しか必要とせず、初期のモデルパッチ作業より優れています。
論文 参考訳(メタデータ) (2023-03-26T16:39:44Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。
実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
論文 参考訳(メタデータ) (2021-07-15T02:53:11Z) - Do We Really Need Deep Learning Models for Time Series Forecasting? [4.2698418800007865]
時系列予測は、幅広い応用があるため、機械学習において重要なタスクである。
ディープラーニングとマトリックスファクタリゼーションモデルは、より競争力のあるパフォーマンスで同じ問題に取り組むために最近提案されている。
本稿では,これらの高度に複雑なディープラーニングモデルが代替手段がないかどうかを問う。
論文 参考訳(メタデータ) (2021-01-06T16:18:04Z) - A Gradient Flow Framework For Analyzing Network Pruning [11.247894240593693]
最近のネットワークプルーニング手法は、トレーニングの初期段階におけるプルーニングモデルに焦点を当てている。
モデルパラメータのノルムを通した重要度を統一するために勾配流を用いた一般的なフレームワークを開発する。
我々は,CIFAR-10/CIFAR-100でトレーニングしたVGG-13,MobileNet-V1,ResNet-56のいくつかのモデルについて検証を行った。
論文 参考訳(メタデータ) (2020-09-24T17:37:32Z) - Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。
CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文 参考訳(メタデータ) (2020-06-12T15:07:08Z) - Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。
アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。
デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
論文 参考訳(メタデータ) (2020-01-20T15:15:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。