論文の概要: AGGLIO: Global Optimization for Locally Convex Functions

• arxiv url: http://arxiv.org/abs/2111.03932v1
• Date: Sat, 6 Nov 2021 18:15:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-09 14:52:39.452231
• Title: AGGLIO: Global Optimization for Locally Convex Functions
• Title（参考訳）: AGGLIO: 局所凸関数のグローバル最適化
• Authors: Debojyoti Dey and Bhaskar Mukhoty and Purushottam Kar
• Abstract要約: 本稿では,AGG(Accelerated Optimization Generalized LInear-model)をステージワイドでグローバルな手法として提案する。 AGGは、A-バッチSGD更新としてポイントを用いて容易に実装でき、証明可能な収束と収束実験を提供する。
• 参考スコア（独自算出の注目度）: 5.221860952360943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents AGGLIO (Accelerated Graduated Generalized LInear-model Optimization), a stage-wise, graduated optimization technique that offers global convergence guarantees for non-convex optimization problems whose objectives offer only local convexity and may fail to be even quasi-convex at a global scale. In particular, this includes learning problems that utilize popular activation functions such as sigmoid, softplus and SiLU that yield non-convex training objectives. AGGLIO can be readily implemented using point as well as mini-batch SGD updates and offers provable convergence to the global optimum in general conditions. In experiments, AGGLIO outperformed several recently proposed optimization techniques for non-convex and locally convex objectives in terms of convergence rate as well as convergent accuracy. AGGLIO relies on a graduation technique for generalized linear models, as well as a novel proof strategy, both of which may be of independent interest.
• Abstract（参考訳）: 本稿では,局所凸性のみを提供し,グローバルスケールで準凸であるような非凸最適化問題に対して,大域収束保証を提供する段階的,漸進的な最適化手法 AGGLIO (Accelerated Graduated Generalized LInear-model Optimization) を提案する。 特に、Sigmoid、Softplus、SiLUといった一般的なアクティベーション機能を利用して非凸トレーニング目標を達成する学習問題が含まれる。 agglioはpointとmini-batch sgdアップデートを使って簡単に実装でき、一般的な条件でグローバルに最適な収束を提供する。 実験では、AGGLIOは収束率および収束精度の観点から、非凸および局所凸目標に対する最近提案された最適化手法よりも優れていた。 AGGLIOは一般化された線形モデルの卒業法と、それぞれが独立した興味を持つであろう新しい証明戦略に依存している。

関連論文リスト

• Super Gradient Descent: Global Optimization requires Global Gradient [0.0]
  本稿では,閉区間上で定義される任意のk-Lipschitz関数に対して,大域最小値への収束を保証する新しい最適化手法を提案する。 従来の最適化アルゴリズムの限界に対処するアプローチは、しばしばローカルなミニマに閉じ込められる。
  論文  参考訳（メタデータ） (2024-10-25T17:28:39Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• ProGO: Probabilistic Global Optimizer [9.772380490791635]
  本稿では,いくつかの温和な条件下でのグローバルオプティマに収束するアルゴリズムを開発する。 提案アルゴリズムは,従来の最先端手法よりも桁違いに優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-04T22:23:40Z)
• Deterministic Langevin Unconstrained Optimization with Normalizing Flows [3.988614978933934]
  我々は,Fokker-Planck方程式とLangevin方程式にインスパイアされたブラックボックス関数に対するグローバルで自由な代理最適化戦略を導入する。 本研究は,標準合成試験関数の最適目的に向けての競争力の向上を実証する。
  論文  参考訳（メタデータ） (2023-10-01T17:46:20Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Fighting the curse of dimensionality: A machine learning approach to finding global optima [77.34726150561087]
  本稿では,構造最適化問題におけるグローバル最適化の方法を示す。 特定のコスト関数を利用することで、最適化手順が確立された場合と比較して、グローバルをベストに得るか、最悪の場合、優れた結果を得るかのどちらかを得る。
  論文  参考訳（メタデータ） (2021-10-28T09:50:29Z)
• Why Do Local Methods Solve Nonconvex Problems? [54.284687261929115]
  非使用最適化は、現代の機械学習においてユビキタスである。 機械学習問題の場合、厳格に定式化します。 我々はこの現象の統一的な説明を仮定する。
  論文  参考訳（メタデータ） (2021-03-24T19:34:11Z)
• An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
  本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。 本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2020-06-18T22:47:58Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Learning to be Global Optimizer [28.88646928299302]
  いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。 学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T03:46:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。