論文の概要: LiveTune: Dynamic Parameter Tuning for Training Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2311.17279v1
- Date: Tue, 28 Nov 2023 23:38:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 23:03:39.931308
- Title: LiveTune: Dynamic Parameter Tuning for Training Deep Neural Networks
- Title(参考訳): LiveTune: ディープニューラルネットワークのトレーニングのための動的パラメータチューニング
- Authors: Soheil Zibakhsh Shabgahi, Nojan Sheybani, Aiden Tabrizi, Farinaz
Koushanfar
- Abstract要約: トレーニング中のリアルタイムパラメータチューニングを可能にする新しいフレームワークであるLiveTuneを提案する。
Live Variablesは、システム上の指定されたポート上のパラメータを格納することで、継続的なトレーニングセッションを可能にする。
- 参考スコア(独自算出の注目度): 14.08911410790793
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional machine learning training is a static process that lacks
real-time adaptability of hyperparameters. Popular tuning solutions during
runtime involve checkpoints and schedulers. Adjusting hyper-parameters usually
require the program to be restarted, wasting utilization and time, while
placing unnecessary strain on memory and processors. We present LiveTune, a new
framework allowing real-time parameter tuning during training through
LiveVariables. Live Variables allow for a continuous training session by
storing parameters on designated ports on the system, allowing them to be
dynamically adjusted. Extensive evaluations of our framework show saving up to
60 seconds and 5.4 Kilojoules of energy per hyperparameter change.
- Abstract(参考訳): 従来の機械学習トレーニングは、ハイパーパラメータのリアルタイム適応性に欠ける静的プロセスである。
実行時の一般的なチューニングソリューションには、チェックポイントとスケジューラが含まれる。
ハイパーパラメータの調整は通常、プログラムを再起動し、使用時間と時間を浪費し、メモリやプロセッサに不必要な歪みを課す。
LiveTuneは、LiveVariablesを通じてトレーニング中のリアルタイムパラメータチューニングを可能にする新しいフレームワークである。
Live Variablesは、システム上の指定されたポートにパラメータを格納することで、継続的なトレーニングセッションを可能にする。
フレームワークの広範な評価では、ハイパーパラメータの変化毎に最大60秒と5.4キロジュールのエネルギーを節約できることがわかった。
関連論文リスト
- Automatic re-calibration of quantum devices by reinforcement learning [0.0]
量子デバイスパラメータの連続的な再校正のためのモデルフリー制御ループの開発に強化学習手法の適用について検討する。
例えば、ケネディ受信機を用いた長距離量子通信プロトコルの数値シミュレーションへの応用について述べる。
論文 参考訳(メタデータ) (2024-04-16T16:59:50Z) - Attention Prompt Tuning: Parameter-efficient Adaptation of Pre-trained
Models for Spatiotemporal Modeling [32.603558214472265]
本稿では,アクション認識などのビデオベースアプリケーションに対して,Attention Prompt Tuning(APT)を導入する。
APTは、バックボーンを凍結させながら微調整中にデータトークンとともに学習可能なプロンプトのセットを注入する。
提案手法は,FLOPとレイテンシを著しく低減するとともに,大幅な性能向上を実現している。
論文 参考訳(メタデータ) (2024-03-11T17:59:41Z) - Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。
モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。
本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
論文 参考訳(メタデータ) (2024-03-03T08:25:04Z) - Machine-learning parameter tracking with partial state observation [0.0]
複雑で非線形な力学系は、時間とともに変化するパラメータ、状態推定、予測、制御といったタスクに不可欠な正確な追跡を含むことが多い。
リアルタイムに部分状態観測から時間変化パラメータを正確に追跡する,モデルフリーで完全なデータ駆動型フレームワークを開発した。
低次元および高次元のマルコフ系および非マルコフ系非線形力学系は、機械学習に基づくパラメータ追跡フレームワークのパワーを示すために用いられる。
論文 参考訳(メタデータ) (2023-11-15T17:39:25Z) - Reducing the Cost of Cycle-Time Tuning for Real-World Policy
Optimization [2.66512000865131]
継続的強化学習タスクは、通常、アクションに固定サイクルタイムの離散的なステップを使用する。
実践者は与えられたタスクのアクションサイクル時間を選択する必要があるため、学習アルゴリズムのハイパーパラメータがサイクル時間の選択毎に再調整される必要があるかどうかが重要な懸念事項である。
論文 参考訳(メタデータ) (2023-05-09T20:40:29Z) - Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。
Sensuous-Aware Fine-Tuning (SPT) スキーム。
SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。
ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文 参考訳(メタデータ) (2023-03-15T12:34:24Z) - On Controller Tuning with Time-Varying Bayesian Optimization [74.57758188038375]
制御対象とその変更に関する適切な事前知識を用いて、時間変化最適化(TVBO)を用いて、変更環境におけるコントローラのオンラインチューニングを行う。
本研究では,不確実性注入(UI)を用いたTVBO戦略を提案する。
我々のモデルはTVBOの最先端手法よりも優れており、後悔の軽減と不安定なパラメータ構成の低減を実現している。
論文 参考訳(メタデータ) (2022-07-22T14:54:13Z) - Automatic Tuning of Federated Learning Hyper-Parameters from System
Perspective [15.108050457914516]
Federated Learning(FL)は、クライアントのデータプライバシを保存する分散モデルトレーニングパラダイムである。
本稿では,FLトレーニングの多様なシステム要件に合わせて自動FLハイパーパラメータチューニングアルゴリズムであるFedTuningを提案する。
FedTuningは軽量で柔軟性があり、時間、計算、通信の異なるトレーニングの好みに対して平均41%の改善を実現している。
論文 参考訳(メタデータ) (2021-10-06T20:43:25Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳(メタデータ) (2021-02-15T19:36:18Z) - Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。
ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。
本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
論文 参考訳(メタデータ) (2020-02-19T18:59:52Z) - Dynamic Parameter Allocation in Parameter Servers [74.250687861348]
本稿では,パラメータサーバに動的パラメータ割り当てを組み込んで,Lapse と呼ばれるパラメータサーバの効率的な実装を提案する。
Lapseはニアリニアなスケーリングを提供しており、既存のパラメータサーバよりも桁違いに高速であることがわかった。
論文 参考訳(メタデータ) (2020-02-03T11:37:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。