論文の概要: A Scalable and Cloud-Native Hyperparameter Tuning System
- arxiv url: http://arxiv.org/abs/2006.02085v2
- Date: Mon, 8 Jun 2020 18:26:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 18:38:55.446265
- Title: A Scalable and Cloud-Native Hyperparameter Tuning System
- Title（参考訳）: スケーラブルでクラウドネイティブなハイパーパラメータチューニングシステム
- Authors: Johnu George, Ce Gao, Richard Liu, Hou Gang Liu, Yuan Tang, Ramdoot
Pydipaty, Amit Kumar Saha
- Abstract要約: Katibはスケーラブルでクラウドネイティブで、プロダクション対応のハイパーパラメータチューニングシステムである。
基盤となる機械学習フレームワークを知らない。
ローカルマシンにデプロイすることも、オンプレミスのデータセンタやプライベート/パブリッククラウドでサービスとしてホストすることもできる。
- 参考スコア（独自算出の注目度）: 4.933493031691195
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we introduce Katib: a scalable, cloud-native, and
production-ready hyperparameter tuning system that is agnostic of the
underlying machine learning framework. Though there are multiple hyperparameter
tuning systems available, this is the first one that caters to the needs of
both users and administrators of the system. We present the motivation and
design of the system and contrast it with existing hyperparameter tuning
systems, especially in terms of multi-tenancy, scalability, fault-tolerance,
and extensibility. It can be deployed on local machines, or hosted as a service
in on-premise data centers, or in private/public clouds. We demonstrate the
advantage of our system using experimental results as well as real-world,
production use cases. Katib has active contributors from multiple companies and
is open-sourced at \emph{https://github.com/kubeflow/katib} under the Apache
2.0 license.
- Abstract（参考訳）: 本稿では,その基盤となる機械学習フレームワークに非依存なスケーラブルでクラウドネイティブで実運用対応のハイパーパラメータチューニングシステムであるKatibを紹介する。
複数のハイパーパラメータチューニングシステムがあるが、これはシステムユーザと管理者の両方のニーズに対応する最初のシステムである。
特に,マルチテナンシ,スケーラビリティ,耐障害性,拡張性といった点で,既存のハイパーパラメータチューニングシステムと対比し,モチベーションと設計について述べる。
ローカルマシンにデプロイすることも、オンプレミスデータセンタやプライベート/パブリッククラウドでサービスとしてホストすることもできる。
実験結果と実世界の実運用ユースケースを用いて,本システムの有用性を実証する。
Katibは、複数の企業の積極的なコントリビュータであり、Apache 2.0ライセンスの下で、emph{https://github.com/kubeflow/katib}でオープンソース化されている。
関連論文リスト
- Adapter-X: A Novel General Parameter-Efficient Fine-Tuning Framework for Vision [52.80792724919329]
本稿では,2次元画像と3次元点雲の微調整を改善するためのAdapter-Xという新しいフレームワークを提案する。
2D画像と3Dポイントの雲のモードで完全な微調整をし、パラメータが大幅に少ない、すなわち2Dと3Dの分類タスクにおいて、オリジナルのトレーニング可能なパラメータのわずか0.20%と1.88%で、初めて性能を上回った。
論文 参考訳（メタデータ） (2024-06-05T08:26:44Z) - FlexLLM: A System for Co-Serving Large Language Model Inference and
Parameter-Efficient Finetuning [9.979010592887096]
既存のシステムは、推論とPEFTの微調整要求の混在を含むワークロードを処理できない。
同じイテレーションで推論およびパラメータ効率の良い微調整要求を処理できる最初のシステムであるFlexLLMを紹介します。
既存のシステムと比較して、FlexLLMの共サービスアプローチは、アクティベーションGPUメモリのオーバーヘッドを最大8倍、エンドツーエンドGPUメモリの要求を最大36%削減する。
論文 参考訳（メタデータ） (2024-02-29T01:33:08Z) - On the Role of Server Momentum in Federated Learning [85.54616432098706]
a)フェデレートラーニング(FL)において未探索な大量のモーメントスキームを網羅するサーバモーメントの一般的な枠組みを提案する。
提案するフレームワークに対して厳密な収束解析を行う。
論文 参考訳（メタデータ） (2023-12-19T23:56:49Z) - RobotKube: Orchestrating Large-Scale Cooperative Multi-Robot Systems
with Kubernetes and ROS [0.0]
大規模協調型マルチロボットシステム全体を組織化するアプローチとして,RobotKubeを提案する。
このようなシステムの主なコンポーネントとして、追加アプリケーションのデプロイを要求できるイベント検出機能と、クラスタに必要な変更を自動的に設定可能なアプリケーションマネージャの2つを挙げる。
広く採用されているプラットフォームとRobot Operating Systemを組み合わせることで、CITSで開発、デプロイ、スケーリング、監視を行うための標準ツールとプラクティスの使用が可能になります。
論文 参考訳（メタデータ） (2023-08-14T10:27:20Z) - SigOpt Mulch: An Intelligent System for AutoML of Gradient Boosted Trees [3.6449336503217786]
グラディエント強化木(GBT)は、研究者、機械学習(ML)実践者、データサイエンティストが使用するユビキタスモデルである。
GBTの自動チューニングに特化して設計されたモデル対応ハイパーパラメータチューニングシステムであるSigOpt Mulchを提案する。
論文 参考訳（メタデータ） (2023-07-10T18:40:25Z) - Hyper-Tune: Towards Efficient Hyper-parameter Tuning at Scale [40.43508897763752]
Hyper-Tuneは、効率的で堅牢な分散ハイパーパラメータチューニングフレームワークである。
最先端のBOHBとA-BOHBを比較し、それぞれ1.2倍と5.1倍のスピードアップを達成している。
論文 参考訳（メタデータ） (2022-01-18T09:12:32Z) - SpanNer: Named Entity Re-/Recognition as Span Prediction [62.66148736099347]
スパン予測モデルは名前付きエンティティ認識に使用される。
我々は11のデータセットに154のシステムを実験的に実装し、3つの言語をカバーした。
私たちのモデルはExplainaBoardプラットフォームにデプロイされました。
論文 参考訳（メタデータ） (2021-06-01T17:11:42Z) - Replicate or Relocate? Non-Uniform Access in Parameter Servers [74.89066750738971]
ホットスポットパラメータを複製し、アクセス頻度の低いパラメータを再配置し、非決定性を管理する専門技術を採用しているPSであるLapse2を紹介します。
私たちの実験研究では、Lapse2は既存の単一技術PSを最大1桁上回った。
論文 参考訳（メタデータ） (2021-04-01T14:52:32Z) - Tailored Learning-Based Scheduling for Kubernetes-Oriented Edge-Cloud
System [54.588242387136376]
エッジクラウドシステムのための学習ベースのスケジューリングフレームワークkaisを紹介する。
まず,分散した要求ディスパッチに対応するために,協調型マルチエージェントアクタ-クリティックアルゴリズムを設計する。
次に,多種多様なシステムスケールと構造について,グラフニューラルネットワークを用いてシステム状態情報を埋め込む。
第3に、リクエストディスパッチとサービスオーケストレーションを調和させる2段階のスケジューリングメカニズムを採用します。
論文 参考訳（メタデータ） (2021-01-17T03:45:25Z) - Amazon SageMaker Automatic Model Tuning: Scalable Black-box Optimization [23.52446054521187]
Amazon SageMaker Automatic Model Tuning(AMT)は、大規模なブラックボックス最適化のためのフルマネージドシステムです。
AMTは、異なるハイパーパラメータ構成で繰り返しトレーニングすることで、機械学習モデルの最良のバージョンを見つける。
組み込みアルゴリズム、カスタムアルゴリズム、マシンラーニングフレームワーク用に構築されたAmazon SageMakerコンテナで使用することができる。
論文 参考訳（メタデータ） (2020-12-15T18:34:34Z) - Dynamic Parameter Allocation in Parameter Servers [74.250687861348]
本稿では,パラメータサーバに動的パラメータ割り当てを組み込んで,Lapse と呼ばれるパラメータサーバの効率的な実装を提案する。
Lapseはニアリニアなスケーリングを提供しており、既存のパラメータサーバよりも桁違いに高速であることがわかった。
論文 参考訳（メタデータ） (2020-02-03T11:37:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。