論文の概要: Dependable Distributed Training of Compressed Machine Learning Models
- arxiv url: http://arxiv.org/abs/2402.14346v1
- Date: Thu, 22 Feb 2024 07:24:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 16:03:29.680971
- Title: Dependable Distributed Training of Compressed Machine Learning Models
- Title（参考訳）: 圧縮機械学習モデルの信頼度分散トレーニング
- Authors: Francesco Malandrino and Giuseppe Di Giacomo and Marco Levorato and
Carla Fabiana Chiasserini
- Abstract要約: 信頼性のある学習オーケストレーションのためのフレームワークであるDepLを提案する。
i) 学習に活用するデータ、(ii) 使用するモデルと、それらに切り替えるタイミング、(iii) ノードのクラスタとそのリソースについて、高品質で効率的な決定を行う。
DepLの競合比と複雑性は一定であり、最先端技術よりも27%以上向上していることを示す。
- 参考スコア（独自算出の注目度）: 16.403297089086042
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The existing work on the distributed training of machine learning (ML) models
has consistently overlooked the distribution of the achieved learning quality,
focusing instead on its average value. This leads to a poor dependability}of
the resulting ML models, whose performance may be much worse than expected. We
fill this gap by proposing DepL, a framework for dependable learning
orchestration, able to make high-quality, efficient decisions on (i) the data
to leverage for learning, (ii) the models to use and when to switch among them,
and (iii) the clusters of nodes, and the resources thereof, to exploit. For
concreteness, we consider as possible available models a full DNN and its
compressed versions. Unlike previous studies, DepL guarantees that a target
learning quality is reached with a target probability, while keeping the
training cost at a minimum. We prove that DepL has constant competitive ratio
and polynomial complexity, and show that it outperforms the state-of-the-art by
over 27% and closely matches the optimum.
- Abstract（参考訳）: 機械学習(ML)モデルの分散トレーニングに関する既存の研究は、達成された学習品質の分布を常に見落とし、その平均値に焦点を当てている。
これにより、結果のMLモデルの信頼性が低下します。
このギャップを埋めるために、信頼性の高い学習オーケストレーションのためのフレームワークであるDepLを提案し、高品質で効率的な意思決定を可能にする。
(i)学習に活用すべきデータ。
(二)使用する機種及び切り替えの時期、及び
(iii)ノードのクラスタとそのリソースを活用すること。
具体的には、利用可能なモデルとして、完全なDNNとその圧縮バージョンを考える。
従来の研究とは異なり、DepLはトレーニングコストを最小限に抑えながら、目標とする学習品質を目標確率で達成することを保証している。
DepLの競合比と多項式の複雑性が一定であることが証明され、最先端技術よりも27%以上優れ、最適値と密に一致していることを示す。
関連論文リスト
- Enhancing Knowledge Distillation of Large Language Models through Efficient Multi-Modal Distribution Alignment [10.104085497265004]
本稿では,教師モデルと学生モデルとのピーク予測の整合性を促進するために,ランキング損失に基づく知識蒸留(RLKD)を提案する。
提案手法は,教師モデルのマルチモーダル分布をよりよく学習し,様々な下流タスクにおいて顕著な性能向上をもたらす。
論文 参考訳（メタデータ） (2024-09-19T08:06:42Z) - Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳（メタデータ） (2024-06-07T11:37:45Z) - Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。
提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。
視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
論文 参考訳（メタデータ） (2024-03-18T08:00:23Z) - On Task Performance and Model Calibration with Supervised and
Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。
しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文 参考訳（メタデータ） (2023-12-21T11:55:10Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z) - Matching DNN Compression and Cooperative Training with Resources and
Data Availability [20.329698347331075]
MLモデルをどの程度、いつ圧縮し、どこでトレーニングを実行するべきかをエミュレートするかは、難しい決定です。
我々はDNNの訓練に焦点をあてたネットワークシステムをモデル化し、多次元問題を定式化し、近似動的プログラミング問題を定式化する。
我々は、PACTの解が所望の最適値に近づくことができることを証明し、時間的複雑さの増大を犠牲にして証明する。
論文 参考訳（メタデータ） (2022-12-02T09:52:18Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Energy-efficient Training of Distributed DNNs in the Mobile-edge-cloud
Continuum [18.247181241860538]
異種ノード群が協調して学習タスクを行うマルチ層ネットワークにおいて,分散機械学習に対処する。
本稿では,学習時間と品質要件を満たしつつ,エネルギー効率の高いMLモデルトレーニングを実現するRightTrainというソリューション概念を提案する。
評価の結果,RightTrainは最適値と密に一致し,50%以上の性能を達成できた。
論文 参考訳（メタデータ） (2022-02-23T08:35:41Z) - Training Speech Recognition Models with Federated Learning: A
Quality/Cost Framework [4.125187280299247]
本稿では,分散型オンデバイス学習パラダイムであるフェデレーション学習を用いて音声認識モデルの訓練を行う。
ユーザ毎のトレーニングのエポックスを実行することで、フェデレートされた学習は、非IIDデータ分散を扱うコストを発生させる必要がある。
論文 参考訳（メタデータ） (2020-10-29T22:01:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。