論文の概要: Global Optimality in Bivariate Gradient-based DAG Learning
- arxiv url: http://arxiv.org/abs/2306.17378v1
- Date: Fri, 30 Jun 2023 02:41:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-03 13:44:34.776419
- Title: Global Optimality in Bivariate Gradient-based DAG Learning
- Title（参考訳）: 二変量勾配に基づくDAG学習における大域的最適性
- Authors: Chang Deng, Kevin Bello, Bryon Aragam, Pradeep Ravikumar
- Abstract要約: データから非循環的グラフィカルモデルを学習する新しい非標準的問題は、大きな関心を集めている。
既存の研究では、この問題を解決するために一階追従法が使われているが、解明されている。
- 参考スコア（独自算出の注目度）: 41.18829644248979
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, a new class of non-convex optimization problems motivated by the
statistical problem of learning an acyclic directed graphical model from data
has attracted significant interest. While existing work uses standard
first-order optimization schemes to solve this problem, proving the global
optimality of such approaches has proven elusive. The difficulty lies in the
fact that unlike other non-convex problems in the literature, this problem is
not "benign", and possesses multiple spurious solutions that standard
approaches can easily get trapped in. In this paper, we prove that a simple
path-following optimization scheme globally converges to the global minimum of
the population loss in the bivariate setting.
- Abstract（参考訳）: 近年,データから非巡回有向グラフモデルを学習する統計問題により,非凸最適化問題の新たなクラスが注目されている。
既存の研究では、この問題を解決するために標準的な一階最適化スキームを使用しているが、そのようなアプローチのグローバルな最適性を証明することは明らかである。
難しいのは、文献の他の非凸問題とは異なり、この問題は「良性」ではなく、標準的アプローチが容易に閉じ込められるような複数の散発的な解決策を持っているという事実である。
本稿では,単純な経路追従最適化スキームが,二変量設定における人口損失のグローバル最小値に収束することを示す。
関連論文リスト
- DiffuSolve: Diffusion-based Solver for Non-convex Trajectory Optimization [9.28162057044835]
最適軌道局所は非線形および高次元力学系において計算コストが高い。
本稿では,非次元オプティマ問題に対するDiffuに基づく一般モデルを提案する。
また,新たな制約付き拡散モデルであるDiff+を提案する。
論文 参考訳（メタデータ） (2024-02-22T03:52:17Z) - A framework for bilevel optimization that enables stochastic and global
variance reduction algorithms [17.12280360174073]
双レベル最適化は、他の関数のarg最小値を含む値関数を最小化する問題である。
本稿では, 内部問題の解, 線形系の解, 主変数を同時に発展させる新しい枠組みを提案する。
我々のフレームワークにおけるSAGAアルゴリズムの適応であるSABAは$O(frac1T)$収束率を持ち、Polyak-Lojasciewicz仮定の下で線形収束を達成することを示した。
論文 参考訳（メタデータ） (2022-01-31T18:17:25Z) - A Bi-Level Framework for Learning to Solve Combinatorial Optimization on
Graphs [91.07247251502564]
本稿では,2つの世界の長所を結合するハイブリッドな手法を提案する。この手法では,グラフを最適化する上層学習手法とバイレベルフレームワークを開発する。
このような二段階のアプローチは、元のハードCOでの学習を単純化し、モデルキャパシティの需要を効果的に軽減することができる。
論文 参考訳（メタデータ） (2021-06-09T09:18:18Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳（メタデータ） (2020-12-11T08:28:51Z) - Meta-learning based Alternating Minimization Algorithm for Non-convex
Optimization [9.774392581946108]
複数変数の非プロブレムに挑戦する新しい解を提案する。
提案手法では,他の手法が一般的に失敗するケースに対して,効果的なイテレーションを実現することができる。
論文 参考訳（メタデータ） (2020-09-09T10:45:00Z) - Optimistic variants of single-objective bilevel optimization for
evolutionary algorithms [6.788217433800101]
ベンチマーク問題を解くために部分的部分進化的アプローチが提案され、優れた結果が得られた。
また、一般的な収束アプローチ、すなわち楽観的で悲観的なアプローチにも新しい変種が提案されている。
実験の結果、アルゴリズムは楽観的な変量を持つ最適解に異なる収束性を示す。
論文 参考訳（メタデータ） (2020-08-22T23:12:07Z) - Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
半教師付き学習における簡単なメタ学習アルゴリズムを提案する。
その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
論文 参考訳（メタデータ） (2020-07-08T08:48:56Z) - Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic
Optimization Problems [12.010310883787911]
我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。
実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
論文 参考訳（メタデータ） (2020-05-19T07:44:52Z) - Revisiting SGD with Increasingly Weighted Averaging: Optimization and
Generalization Perspectives [50.12802772165797]
平均化手法は、全ての反復解を一つの解に結合する。
実験は、他の平均化方式と比較して、トレードオフと平均化の有効性を示した。
論文 参考訳（メタデータ） (2020-03-09T18:14:00Z) - Bilevel Optimization for Differentially Private Optimization in Energy
Systems [53.806512366696275]
本稿では,入力に敏感な制約付き最適化問題に対して,差分プライバシーを適用する方法について検討する。
本稿は, 自然仮定の下では, 大規模非線形最適化問題に対して, 双レベルモデルを効率的に解けることを示す。
論文 参考訳（メタデータ） (2020-01-26T20:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。