論文の概要: Matching DNN Compression and Cooperative Training with Resources and
Data Availability
- arxiv url: http://arxiv.org/abs/2212.02304v1
- Date: Fri, 2 Dec 2022 09:52:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 19:21:04.799170
- Title: Matching DNN Compression and Cooperative Training with Resources and
Data Availability
- Title(参考訳): 資源・データ利用によるDNN圧縮と協調訓練のマッチング
- Authors: Francesco Malandrino and Giuseppe Di Giacomo and Armin Karamzade and
Marco Levorato and Carla Fabiana Chiasserini
- Abstract要約: MLモデルをどの程度、いつ圧縮し、どこでトレーニングを実行するべきかをエミュレートするかは、難しい決定です。
我々はDNNの訓練に焦点をあてたネットワークシステムをモデル化し、多次元問題を定式化し、近似動的プログラミング問題を定式化する。
我々は、PACTの解が所望の最適値に近づくことができることを証明し、時間的複雑さの増大を犠牲にして証明する。
- 参考スコア(独自算出の注目度): 20.329698347331075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To make machine learning (ML) sustainable and apt to run on the diverse
devices where relevant data is, it is essential to compress ML models as
needed, while still meeting the required learning quality and time performance.
However, how much and when an ML model should be compressed, and {\em where}
its training should be executed, are hard decisions to make, as they depend on
the model itself, the resources of the available nodes, and the data such nodes
own. Existing studies focus on each of those aspects individually, however,
they do not account for how such decisions can be made jointly and adapted to
one another. In this work, we model the network system focusing on the training
of DNNs, formalize the above multi-dimensional problem, and, given its
NP-hardness, formulate an approximate dynamic programming problem that we solve
through the PACT algorithmic framework. Importantly, PACT leverages a
time-expanded graph representing the learning process, and a data-driven and
theoretical approach for the prediction of the loss evolution to be expected as
a consequence of training decisions. We prove that PACT's solutions can get as
close to the optimum as desired, at the cost of an increased time complexity,
and that, in any case, such complexity is polynomial. Numerical results also
show that, even under the most disadvantageous settings, PACT outperforms
state-of-the-art alternatives and closely matches the optimal energy cost.
- Abstract(参考訳): 機械学習(ml)を持続可能とし、関連するデータが存在する多様なデバイス上で動作させるには、必要な学習品質と時間パフォーマンスを満足しつつ、必要に応じてmlモデルを圧縮することが不可欠である。
しかしながら、MLモデルがどの程度圧縮されるべきで、そのトレーニングがどこで実行されるかは、モデル自体、利用可能なノードのリソース、そのようなノードが所有するデータに依存するため、決定が難しい。
既存の研究はそれぞれの側面に個別に焦点を合わせているが、そのような決定をどう共同で行うかは考慮していない。
本研究では,DNNのトレーニングに重点を置いたネットワークシステムをモデル化し,上記の多次元問題を形式化し,NPの硬さを考慮し,PACTアルゴリズムを用いて解く近似動的プログラミング問題を定式化する。
重要なのは、pactは学習プロセスを表す時間展開グラフと、トレーニング決定の結果として期待される損失進化を予測するためのデータ駆動および理論的アプローチを活用することだ。
我々は PACT の解が所望の最適値に近づくことができることを証明し、時間的複雑性の増大を犠牲にして、そのような複雑さが多項式であることを証明する。
数値的な結果は、最も不利な設定でも、pactは最先端の代替案よりも優れており、最適なエネルギーコストと密接に一致することを示している。
関連論文リスト
- Dependable Distributed Training of Compressed Machine Learning Models [16.403297089086042]
信頼性のある学習オーケストレーションのためのフレームワークであるDepLを提案する。
i) 学習に活用するデータ、(ii) 使用するモデルと、それらに切り替えるタイミング、(iii) ノードのクラスタとそのリソースについて、高品質で効率的な決定を行う。
DepLの競合比と複雑性は一定であり、最先端技術よりも27%以上向上していることを示す。
論文 参考訳(メタデータ) (2024-02-22T07:24:26Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Self-Supervised Learning with Lie Symmetries for Partial Differential
Equations [25.584036829191902]
我々は、自己教師付き学習(SSL)のための共同埋め込み手法を実装することにより、PDEの汎用表現を学習する。
我々の表現は、PDEの係数の回帰などの不変タスクに対するベースラインアプローチよりも優れており、また、ニューラルソルバのタイムステッピング性能も向上している。
提案手法がPDEの汎用基盤モデルの開発に有効であることを期待する。
論文 参考訳(メタデータ) (2023-07-11T16:52:22Z) - Energy-efficient Training of Distributed DNNs in the Mobile-edge-cloud
Continuum [18.247181241860538]
異種ノード群が協調して学習タスクを行うマルチ層ネットワークにおいて,分散機械学習に対処する。
本稿では,学習時間と品質要件を満たしつつ,エネルギー効率の高いMLモデルトレーニングを実現するRightTrainというソリューション概念を提案する。
評価の結果,RightTrainは最適値と密に一致し,50%以上の性能を達成できた。
論文 参考訳(メタデータ) (2022-02-23T08:35:41Z) - Deep Learning with Multiple Data Set: A Weighted Goal Programming
Approach [2.7393821783237184]
大規模データ分析は、我々の社会でデータが増大するにつれて、指数的な速度で成長している。
ディープラーニングモデルはたくさんのリソースを必要とし、分散トレーニングが必要です。
本稿では,分散学習のためのマルチ基準アプローチを提案する。
論文 参考訳(メタデータ) (2021-11-27T07:10:25Z) - Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。
最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。
提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
論文 参考訳(メタデータ) (2021-11-26T18:44:59Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳(メタデータ) (2021-08-09T08:45:47Z) - Sufficiently Accurate Model Learning for Planning [119.80502738709937]
本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。
これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。
近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
論文 参考訳(メタデータ) (2021-02-11T16:27:31Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳(メタデータ) (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。