論文の概要: Learning to Warm-Start Fixed-Point Optimization Algorithms

• arxiv url: http://arxiv.org/abs/2309.07835v1
• Date: Thu, 14 Sep 2023 16:22:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 12:12:12.924316
• Title: Learning to Warm-Start Fixed-Point Optimization Algorithms
• Title（参考訳）: ワームスタート固定点最適化アルゴリズムの学習
• Authors: Rajiv Sambharya, Georgina Hall, Brandon Amos, Bartolomeo Stellato
• Abstract要約: 固定点最適化アルゴリズムのウォームスタートに機械学習フレームワークを導入する。 固定点残差や基底真理解の距離を最小化するために設計された2つの損失関数を提案する。 私たちのアーキテクチャの重要な特徴は、その柔軟性であり、任意のステップで実行される固定ポイントアルゴリズムのウォームスタートを予測できることです。
• 参考スコア（独自算出の注目度）: 12.91202184438177
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce a machine-learning framework to warm-start fixed-point optimization algorithms. Our architecture consists of a neural network mapping problem parameters to warm starts, followed by a predefined number of fixed-point iterations. We propose two loss functions designed to either minimize the fixed-point residual or the distance to a ground truth solution. In this way, the neural network predicts warm starts with the end-to-end goal of minimizing the downstream loss. An important feature of our architecture is its flexibility, in that it can predict a warm start for fixed-point algorithms run for any number of steps, without being limited to the number of steps it has been trained on. We provide PAC-Bayes generalization bounds on unseen data for common classes of fixed-point operators: contractive, linearly convergent, and averaged. Applying this framework to well-known applications in control, statistics, and signal processing, we observe a significant reduction in the number of iterations and solution time required to solve these problems, through learned warm starts.
• Abstract（参考訳）: 固定点最適化アルゴリズムのウォームスタートに機械学習フレームワークを導入する。 私たちのアーキテクチャは、ウォームスタートのためのニューラルネットワークマッピング問題パラメータと、予め定義された固定点反復数で構成される。 固定点残差や基底真理解の距離を最小化するために設計された2つの損失関数を提案する。 このようにして、ニューラルネットワークは、下流の損失を最小化するというエンドツーエンドの目標から、ウォームスタートを予測する。 アーキテクチャの重要な特徴は柔軟性であり、トレーニングされたステップの数に制限されることなく、任意のステップで実行される固定ポイントアルゴリズムのウォームスタートを予測することができる。 固定点作用素の共通類に対して、可視データ上のPAC-Bayes一般化バウンダリ(contractive, linearly convergent, averaged)を提供する。 このフレームワークを制御、統計、信号処理におけるよく知られたアプリケーションに適用することにより、これらの問題を解決するのに必要なイテレーション数とソリューション時間を大幅に削減する。

関連論文リスト

• Fast, Scalable, Warm-Start Semidefinite Programming with Spectral Bundling and Sketching [53.91395791840179]
  我々は、大規模なSDPを解くための、証明可能な正確で高速でスケーラブルなアルゴリズムであるUnified Spectral Bundling with Sketching (USBS)を提案する。 USBSは、20億以上の決定変数を持つインスタンス上で、最先端のスケーラブルなSDP解決器よりも500倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2023-12-19T02:27:22Z)
• Neural Quantile Optimization for Edge-Cloud Networking [13.509945075582447]
  我々は,バースト可能な請求書に基づいて制約を満足し,コストを最小化するエッジ・クラウド・コンピューティング・ネットワークにおいて,最適なトラフィック割当方式を模索する。 本稿では,教師なし学習による最適化問題を解決するため,Gumbel-softmaxサンプリングネットワークを提案する。 トレーニングされたネットワークは、効率的なトラフィック割当スキームサンプリングとして機能し、実現可能性およびコスト関数値のランダム戦略を著しく上回る。
  論文  参考訳（メタデータ） (2023-07-11T11:05:10Z)
• Warm-Start Actor-Critic: From Approximation Error to Sub-optimality Gap [31.115084475673793]
  本研究では,不正確なアクタ/クライブ更新による有限時間学習性能に対する近似誤差の影響について検討する。 この結果から,オンライン学習におけるアルゴリズムバイアスを低減することが不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-20T03:58:35Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Optimization-Based GenQSGD for Federated Edge Learning [12.371264770814097]
  我々は、連合学習(FL)のための一般化された並列最小バッチ収束降下(SGD)アルゴリズムを提案する。 我々は,時間収束誤差の下でのエネルギーコストを最小限に抑えるために,アルゴリズムパラメータを最適化する。 その結果,既存のFLアルゴリズムよりも有意な利得が得られた。
  論文  参考訳（メタデータ） (2021-10-25T14:25:11Z)
• DESTRESS: Computation-Optimal and Communication-Efficient Decentralized Nonconvex Finite-Sum Optimization [43.31016937305845]
  インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。 非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。 詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
  論文  参考訳（メタデータ） (2021-10-04T03:17:41Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Resolving learning rates adaptively by locating Stochastic Non-Negative Associated Gradient Projection Points using line searches [0.0]
  ニューラルネットワークトレーニングにおける学習率は現在、高価なマニュアルや自動チューニングを使用したトレーニングの優先事項として決定されている。 本研究では,ニューラルネットワーク学習アルゴリズムの学習率を解くために,勾配のみの線探索を提案する。
  論文  参考訳（メタデータ） (2020-01-15T03:08:07Z)
• Channel Assignment in Uplink Wireless Communication using Machine Learning Approach [54.012791474906514]
  本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。 我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。 計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
  論文  参考訳（メタデータ） (2020-01-12T15:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。