Fugu-MT 論文翻訳(概要): CONGO: Compressive Online Gradient Optimization

論文の概要: CONGO: Compressive Online Gradient Optimization

arxiv url: http://arxiv.org/abs/2407.06325v2
Date: Sat, 26 Oct 2024 22:12:25 GMT
ステータス: 処理完了
システム内更新日: 2024-11-08 23:13:33.217053
Title: CONGO: Compressive Online Gradient Optimization
Title（参考訳）: CONGO: 圧縮的なオンライングラディエント最適化
Authors: Jeremy Carleton, Prathik Vijaykumar, Divyanshu Saxena, Dheeraj Narasimha, Srinivas Shakkottai, Aditya Akella,
Abstract要約: 目的関数の勾配が空間性を示すゼロ階オンライン凸最適化の課題に対処する。私たちのモチベーションは、時間に敏感なジョブを処理する大規模キューネットワークの最適化に起因しています。
参考スコア（独自算出の注目度）: 9.706490948078018
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We address the challenge of zeroth-order online convex optimization where the objective function's gradient exhibits sparsity, indicating that only a small number of dimensions possess non-zero gradients. Our aim is to leverage this sparsity to obtain useful estimates of the objective function's gradient even when the only information available is a limited number of function samples. Our motivation stems from the optimization of large-scale queueing networks that process time-sensitive jobs. Here, a job must be processed by potentially many queues in sequence to produce an output, and the service time at any queue is a function of the resources allocated to that queue. Since resources are costly, the end-to-end latency for jobs must be balanced with the overall cost of the resources used. While the number of queues is substantial, the latency function primarily reacts to resource changes in only a few, rendering the gradient sparse. We tackle this problem by introducing the Compressive Online Gradient Optimization framework which allows compressive sensing methods previously applied to stochastic optimization to achieve regret bounds with an optimal dependence on the time horizon without the full problem dimension appearing in the bound. For specific algorithms, we reduce the samples required per gradient estimate to scale with the gradient's sparsity factor rather than its full dimensionality. Numerical simulations and real-world microservices benchmarks demonstrate CONGO's superiority over gradient descent approaches that do not account for sparsity.
Abstract（参考訳）: 目的関数の勾配がスパース性を示すようなゼロ階オンライン凸最適化の課題に対処し、少数の次元のみがゼロ階の勾配を持たないことを示す。本研究の目的は,関数サンプルの数が限られている場合にのみ,目的関数の勾配の有用な推定値を得ることである。私たちのモチベーションは、時間に敏感なジョブを処理する大規模キューネットワークの最適化に起因しています。ここでは、ジョブは出力を生成するために、潜在的に多くのキューによって処理されなければならず、任意のキューでのサービス時間は、そのキューに割り当てられたリソースの関数である。リソースはコストがかかるため、ジョブのエンドツーエンドのレイテンシは、使用するリソース全体のコストとバランスをとらなければならない。キューの数は相当に多いが、レイテンシ関数は主にリソースの変更にほんの数秒で反応し、勾配がスパースになる。我々は,従来の確率的最適化に適用された圧縮的センシング手法を用いて,時間的地平線に最適な依存度で残差を達成できる圧縮的オンライン勾配最適化フレームワークを導入することで,この問題に対処する。具体的アルゴリズムでは,勾配推定に要するサンプルを全次元ではなく勾配の空間係数で縮小する。数値シミュレーションと実世界のマイクロサービスベンチマークは、分散性を考慮しない勾配降下アプローチよりもCONGOの方が優れていることを示している。

関連論文リスト

Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。ゲームにおける高速収束と拡張逆最適化への応用について述べる。
論文参考訳（メタデータ） (2024-08-17T02:22:08Z)
Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
論文参考訳（メタデータ） (2024-06-28T02:56:22Z)
Gradient-free neural topology optimization [0.0]
勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
論文参考訳（メタデータ） (2024-03-07T23:00:49Z)
Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文参考訳（メタデータ） (2023-06-20T15:07:37Z)
Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
論文参考訳（メタデータ） (2023-04-09T05:21:15Z)
Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文参考訳（メタデータ） (2022-03-02T22:35:58Z)
Over-Parametrized Matrix Factorization in the Presence of Spurious Stationary Points [20.515985046189268]
この研究は、過度にパラメータ化された行列分解の計算的側面について考察する。本研究では,対応する有理関数の勾配流が大域最小化器に収束することを確かめる。原始双対アルゴリズムにインスパイアされた勾配流の離散化がランダムに成功したことを数値的に観察する。
論文参考訳（メタデータ） (2021-12-25T19:13:37Z)
Gradient and Projection Free Distributed Online Min-Max Resource Optimization [26.681658600897688]
並列エージェントの集合を用いた分散オンライン min-max リソース割り当てについて検討する。我々は、分散オンラインリソース・リアグル(DORA)と呼ばれる新しいオンライン戦略を提案する。 DORAは既存のオンライン戦略とは異なり、計算やプロジェクションの操作を必要としない。
論文参考訳（メタデータ） (2021-12-07T18:42:07Z)
Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。モデルに基づく手続きが雑音勾配設定に収束することを証明する。これは自己チューニング二次体を構築するための興味深いステップである。
論文参考訳（メタデータ） (2020-11-09T22:07:30Z)
Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
本稿では,畳み込みニューラルネットワークの最適化手法を提案する。出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
論文参考訳（メタデータ） (2020-08-25T00:44:09Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。