論文の概要: Frozen Layers: Memory-efficient Many-fidelity Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2504.10735v1
• Date: Mon, 14 Apr 2025 22:06:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:11:28.590283
• Title: Frozen Layers: Memory-efficient Many-fidelity Hyperparameter Optimization
• Title（参考訳）: 凍結層:メモリ効率の多要素ハイパーパラメータ最適化
• Authors: Timur Carstensen, Neeratyoy Mallik, Frank Hutter, Martin Rapp,
• Abstract要約: 我々は、トレーニング中にトレーニングされたり凍結されたりするレイヤの数という、新しい忠実度源を提案する。 ディープネットワークでは、このアプローチは計算とメモリの大幅な節約を提供する。 このコントリビューションは、ハードウェアリソースを忠実さとしてMF-HPOの新しいアプリケーションを開く。
• 参考スコア（独自算出の注目度）: 40.47739985789667
• License:
• Abstract: As model sizes grow, finding efficient and cost-effective hyperparameter optimization (HPO) methods becomes increasingly crucial for deep learning pipelines. While multi-fidelity HPO (MF-HPO) trades off computational resources required for DL training with lower fidelity estimations, existing fidelity sources often fail under lower compute and memory constraints. We propose a novel fidelity source: the number of layers that are trained or frozen during training. For deep networks, this approach offers significant compute and memory savings while preserving rank correlations between hyperparameters at low fidelities compared to full model training. We demonstrate this in our empirical evaluation across ResNets and Transformers and additionally analyze the utility of frozen layers as a fidelity in using GPU resources as a fidelity in HPO, and for a combined MF-HPO with other fidelity sources. This contribution opens new applications for MF-HPO with hardware resources as a fidelity and creates opportunities for improved algorithms navigating joint fidelity spaces.
• Abstract（参考訳）: モデルのサイズが大きくなるにつれて、ディープラーニングパイプラインにとって、効率的で費用効率のよいハイパーパラメータ最適化(HPO)手法の発見がますます重要になっている。 マルチフィデリティHPO(MF-HPO)はDLトレーニングに必要な計算資源を低いフィデリティ推定で交換するが、既存のフィデリティソースは低い計算とメモリ制約の下で失敗することが多い。 我々は、トレーニング中にトレーニングされたり凍結されたりするレイヤの数という、新しい忠実度源を提案する。 ディープネットワークでは、フルモデルトレーニングと比較して低忠実度でのハイパーパラメータ間のランク相関を保ちながら、計算とメモリの大幅な節約を提供する。 我々は,ResNet と Transformer 間の実証評価においてこれを実証し,GPU リソースをHPO の忠実度として用いる際の凍結層の有用性を解析し,MF-HPO を他の忠実度源と組み合わせることでこれを実証した。 この貢献により、ハードウェアリソースを忠実性としてMF-HPOの新たな応用が開かれ、共同忠実性空間をナビゲートするアルゴリズムを改善する機会が生まれる。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• FedMHO: Heterogeneous One-Shot Federated Learning Towards Resource-Constrained Edge Devices [12.08958206272527]
  フェデレートラーニング(FL)はエッジコンピューティングのシナリオにおいてますます採用され、多くの異種クライアントが制約や十分なリソースの下で運用されている。 ワンショットFLは通信オーバーヘッドを軽減するための有望なアプローチとして登場し、モデルヘテロジニアスFLはクライアント間の多様なコンピューティングリソースの問題を解決する。 本稿では,リソースに制約のあるデバイス上で,リソースに十分なクライアントと軽量な生成モデルに対して,詳細な分類モデルを活用するFedMHOという新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T15:54:56Z)
• Efficient Transformer-based Hyper-parameter Optimization for Resource-constrained IoT Environments [9.72257571115249]
  本稿では,トランスフォーマーアーキテクチャとアクター批判型強化学習モデルTRL-HPOを組み合わせた新しいアプローチを提案する。 その結果、TRL-HPOはこれらの手法の分類結果を同時に6.8%上回る結果となった。 本稿では,資源制約環境下でのRLベースのHPOプロセスを改善するための新しい方法について述べる。
  論文  参考訳（メタデータ） (2024-03-18T20:35:35Z)
• Multi-Fidelity Residual Neural Processes for Scalable Surrogate Modeling [19.60087366873302]
  マルチフィデリティ・サロゲートモデリングは,最も高いフィデリティレベルで正確なサロゲートを学習することを目的としている。 ディープラーニングアプローチでは、ニューラルネットワークベースのエンコーダとデコーダを使用してスケーラビリティを向上させる。 本稿では,MFRNP(Multi-fidelity Residual Neural Processs)を提案する。
  論文  参考訳（メタデータ） (2024-02-29T04:40:25Z)
• Computation Offloading and Resource Allocation in F-RANs: A Federated Deep Reinforcement Learning Approach [67.06539298956854]
  フォグ無線アクセスネットワーク(フォグ無線アクセスネットワーク、F-RAN)は、ユーザのモバイルデバイス(MD)が計算タスクを近くのフォグアクセスポイント(F-AP)にオフロードできる有望な技術である。
  論文  参考訳（メタデータ） (2022-06-13T02:19:20Z)
• Multifidelity Reinforcement Learning with Control Variates [3.2895195535353317]
  多くの計算科学や工学の応用において、与えられた入力に対応する興味あるシステムの出力は、異なるコストで異なるレベルの忠実度でクエリすることができる。 本研究では、与えられた制御タスクに対して、異なるレベルの忠実度を持つ複数の環境が存在する場合の強化学習問題について検討する。 状態-作用値関数の推定におけるばらつきを低減するために,低忠実度と高忠実度との相互相関を利用した多忠実度推定器を提案する。
  論文  参考訳（メタデータ） (2022-06-10T15:01:37Z)
• Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
  多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。 本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。 疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
  論文  参考訳（メタデータ） (2022-06-10T04:54:13Z)
• Distributional Reinforcement Learning for Multi-Dimensional Reward Functions [91.88969237680669]
  多次元分布DQN(MD3QN)を導入し、複数の報酬源からの共振分布をモデル化する。 関節分布モデリングの副産物として、MD3QNは各報酬源に対するリターンのランダム性を捉えることができる。 実験では,リッチな相関型報酬関数を持つ環境下での連立戻り分布を精度良くモデル化した。
  論文  参考訳（メタデータ） (2021-10-26T11:24:23Z)
• Fed-LAMB: Layerwise and Dimensionwise Locally Adaptive Optimization Algorithm [24.42828071396353]
  FL(Federated Learning)の新たなパラダイムでは、モバイルデバイスなどの大量のクライアントが、それぞれのデータに基づいてトレーニングされている。 低帯域幅のため、分散最適化手法は計算負荷をそれらのクライアントからサーバにシフトさせる必要がある。 我々は階層的なディープニューラルネットワークに基づく新しい学習手法であるFed-LAMBを提案する。
  論文  参考訳（メタデータ） (2021-10-01T16:54:31Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。