論文の概要: B\'ezier Flow: a Surface-wise Gradient Descent Method for Multi-objective Optimization

• arxiv url: http://arxiv.org/abs/2205.11099v1
• Date: Mon, 23 May 2022 07:47:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 19:44:10.403874
• Title: B\'ezier Flow: a Surface-wise Gradient Descent Method for Multi-objective Optimization
• Title（参考訳）: B\'ezier Flow:多目的最適化のための表面のグラディエントDescent法
• Authors: Akiyoshi Sannai, Yasunari Hikima, Ken Kobayashi, Akinori Tanaka, Naoki Hamada
• Abstract要約: 確率近似学習(PAC)における最適化アルゴリズムの安定性を向上する。 勾配勾配勾配に基づく単目的最適化アルゴリズムから導かれる多目的最適化アルゴリズムはPAC安定であることを示す。
• 参考スコア（独自算出の注目度）: 12.487037582320804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a strategy to construct a multi-objective optimization algorithm from a single-objective optimization algorithm by using the B\'ezier simplex model. Also, we extend the stability of optimization algorithms in the sense of Probability Approximately Correct (PAC) learning and define the PAC stability. We prove that it leads to an upper bound on the generalization with high probability. Furthermore, we show that multi-objective optimization algorithms derived from a gradient descent-based single-objective optimization algorithm are PAC stable. We conducted numerical experiments and demonstrated that our method achieved lower generalization errors than the existing multi-objective optimization algorithm.
• Abstract（参考訳）: 本稿では,B'ezier Simplexモデルを用いて,単目的最適化アルゴリズムから多目的最適化アルゴリズムを構築する方法を提案する。 また、確率近似学習(PAC)における最適化アルゴリズムの安定性を拡張し、PAC安定性を定義する。 これは高い確率で一般化の上界につながることを証明している。 さらに,勾配勾配に基づく単一目的最適化アルゴリズムから導出した多目的最適化アルゴリズムがpac安定であることを示す。 数値実験を行い,本手法が既存の多目的最適化アルゴリズムよりも低い一般化誤差を実現できることを示した。

関連論文リスト

• Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
  本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。 我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。 本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2024-03-01T14:55:22Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• A novel multiobjective evolutionary algorithm based on decomposition and multi-reference points strategy [14.102326122777475]
  分解に基づく多目的進化アルゴリズム(MOEA/D)は、多目的最適化問題(MOP)を解く上で、極めて有望なアプローチであると考えられている。 本稿では,よく知られたPascoletti-Serafiniスキャラライゼーション法とマルチ参照ポイントの新たな戦略により,MOEA/Dアルゴリズムの改良を提案する。
  論文  参考訳（メタデータ） (2021-10-27T02:07:08Z)
• High dimensional Bayesian Optimization Algorithm for Complex System in Time Series [1.9371782627708491]
  本稿では,新しい高次元ベイズ最適化アルゴリズムを提案する。 モデルの時間依存特性や次元依存特性に基づいて,提案アルゴリズムは次元を均等に低減することができる。 最適解の最終精度を高めるために,提案アルゴリズムは,最終段階におけるアダムに基づく一連のステップに基づく局所探索を追加する。
  論文  参考訳（メタデータ） (2021-08-04T21:21:17Z)
• A Stochastic Sequential Quadratic Optimization Algorithm for Nonlinear Equality Constrained Optimization with Rank-Deficient Jacobians [11.03311584463036]
  滑らかな非線形等式制約最適化問題の解法として, 逐次2次最適化アルゴリズムを提案する。 数値実験の結果、このアルゴリズムは一般的な代替品と比較して優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-24T13:46:52Z)
• PAMELI: A Meta-Algorithm for Computationally Expensive Multi-Objective Optimization Problems [0.0]
  提案アルゴリズムは,実モデルのモデルによって定義される一連の代理問題の解法に基づく。 また,最適化ランドスケープのための最適なサロゲートモデルとナビゲーション戦略のメタ検索を行う。
  論文  参考訳（メタデータ） (2021-03-19T11:18:03Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。