論文の概要: CONGO: Compressive Online Gradient Optimization with Application to Microservices Management

• arxiv url: http://arxiv.org/abs/2407.06325v1
• Date: Mon, 8 Jul 2024 18:42:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 22:03:20.930861
• Title: CONGO: Compressive Online Gradient Optimization with Application to Microservices Management
• Title（参考訳）: CONGO: 圧縮的なオンライングラディエント最適化とマイクロサービス管理への応用
• Authors: Jeremy Carleton, Prathik Vijaykumar, Divyanshu Saxena, Dheeraj Narasimha, Srinivas Shakkottai, Aditya Akella,
• Abstract要約: 目的関数の勾配間隔が空間性を示すオンライン凸最適化の課題に対処し、非ゼロ勾配を持つのは少数の次元のみであることを示す。 勾配の空間性を利用することにより、問題の本来の次元性ではなく、勾配の空間性に合わせて摂動に要するサンプルを減らすことができる。
• 参考スコア（独自算出の注目度）: 9.706490948078018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the challenge of online convex optimization where the objective function's gradient exhibits sparsity, indicating that only a small number of dimensions possess non-zero gradients. Our aim is to leverage this sparsity to obtain useful estimates of the objective function's gradient even when the only information available is a limited number of function samples. Our motivation stems from distributed queueing systems like microservices-based applications, characterized by request-response workloads. Here, each request type proceeds through a sequence of microservices to produce a response, and the resource allocation across the collection of microservices is controlled to balance end-to-end latency with resource costs. While the number of microservices is substantial, the latency function primarily reacts to resource changes in a few, rendering the gradient sparse. Our proposed method, CONGO (Compressive Online Gradient Optimization), combines simultaneous perturbation with compressive sensing to estimate gradients. We establish analytical bounds on the requisite number of compressive sensing samples per iteration to maintain bounded bias of gradient estimates, ensuring sub-linear regret. By exploiting sparsity, we reduce the samples required per iteration to match the gradient's sparsity, rather than the problem's original dimensionality. Numerical experiments and real-world microservices benchmarks demonstrate CONGO's superiority over multiple stochastic gradient descent approaches, as it quickly converges to performance comparable to policies pre-trained with workload awareness.
• Abstract（参考訳）: 目的関数の勾配がスパース性を示すオンライン凸最適化の課題に対処し、非ゼロ勾配を持つのは少数の次元のみであることを示す。 本研究の目的は,関数サンプルの数が限られている場合にのみ,目的関数の勾配の有用な推定値を得ることである。 私たちのモチベーションは、マイクロサービスベースのアプリケーションのような分散キューシステムに起因しています。 ここでは、各リクエストタイプがマイクロサービスのシーケンスを通過してレスポンスを生成し、マイクロサービスの集合をまたいだリソース割り当てが、エンドツーエンドのレイテンシとリソースコストのバランスをとるように制御されます。 マイクロサービスの数はかなりあるが、レイテンシ関数は主にリソースの変更に反応し、勾配はスパースである。 提案手法であるCONGO(Compressive Online Gradient Optimization)は,同時摂動と圧縮センシングを組み合わせ,勾配を推定する。 本研究では,1イテレーションあたりの圧縮センシングサンプルの必要個数に関する解析的バウンダリを確立し,勾配推定の有界バイアスを維持し,サブ線形後悔を確実にする。 疎性を利用することにより、問題の本来の次元性ではなく、勾配の疎性に対応するために反復ごとに必要となるサンプルを減らすことができる。 数値実験と実世界のマイクロサービスベンチマークは、複数の確率勾配勾配アプローチよりもCONGOの方が優れていることを実証している。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Gradient-free neural topology optimization [0.0]
  勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。 これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。 我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-07T23:00:49Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
  フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。 モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。 我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
  論文  参考訳（メタデータ） (2023-04-09T05:21:15Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• Over-Parametrized Matrix Factorization in the Presence of Spurious Stationary Points [20.515985046189268]
  この研究は、過度にパラメータ化された行列分解の計算的側面について考察する。 本研究では,対応する有理関数の勾配流が大域最小化器に収束することを確かめる。 原始双対アルゴリズムにインスパイアされた勾配流の離散化がランダムに成功したことを数値的に観察する。
  論文  参考訳（メタデータ） (2021-12-25T19:13:37Z)
• Gradient and Projection Free Distributed Online Min-Max Resource Optimization [26.681658600897688]
  並列エージェントの集合を用いた分散オンライン min-max リソース割り当てについて検討する。 我々は、分散オンラインリソース・リアグル(DORA)と呼ばれる新しいオンライン戦略を提案する。 DORAは既存のオンライン戦略とは異なり、計算やプロジェクションの操作を必要としない。
  論文  参考訳（メタデータ） (2021-12-07T18:42:07Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。