論文の概要: On the Convergence of Continuous Constrained Optimization for Structure Learning

• arxiv url: http://arxiv.org/abs/2011.11150v4
• Date: Sun, 10 Apr 2022 18:31:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 01:28:01.683718
• Title: On the Convergence of Continuous Constrained Optimization for Structure Learning
• Title（参考訳）: 構造学習のための連続制約最適化の収束について
• Authors: Ignavier Ng, S\'ebastien Lachapelle, Nan Rosemary Ke, Simon Lacoste-Julien, Kun Zhang
• Abstract要約: 本稿では, 線形, 非線形, 共起ケースにおける構造学習における拡張ラグランジアン法 (ALM) と二次ペナルティ法 (QPM) の収束性を示す。 さらに、軽度条件下で、DAG溶液へのQPMの収束保証を確立する。
• 参考スコア（独自算出の注目度）: 30.279796192573805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, structure learning of directed acyclic graphs (DAGs) has been formulated as a continuous optimization problem by leveraging an algebraic characterization of acyclicity. The constrained problem is solved using the augmented Lagrangian method (ALM) which is often preferred to the quadratic penalty method (QPM) by virtue of its standard convergence result that does not require the penalty coefficient to go to infinity, hence avoiding ill-conditioning. However, the convergence properties of these methods for structure learning, including whether they are guaranteed to return a DAG solution, remain unclear, which might limit their practical applications. In this work, we examine the convergence of ALM and QPM for structure learning in the linear, nonlinear, and confounded cases. We show that the standard convergence result of ALM does not hold in these settings, and demonstrate empirically that its behavior is akin to that of the QPM which is prone to ill-conditioning. We further establish the convergence guarantee of QPM to a DAG solution, under mild conditions. Lastly, we connect our theoretical results with existing approaches to help resolve the convergence issue, and verify our findings in light of an empirical comparison of them.
• Abstract（参考訳）: 近年、有向非巡回グラフ (DAG) の構造学習は、非巡回性の代数的特徴を利用して連続最適化問題として定式化されている。 制限された問題は拡張ラグランジアン法(英語版)(alm)を用いて解かれ、標準収束結果(英語版)により二次ペナルティ法(英語版)(qpm)にしばしば好まれる。 しかし、これらの構造学習手法の収束特性は、DAGの解を返すことが保証されているかどうかなどは不明であり、実用的応用が制限される可能性がある。 本研究では, 線形, 非線形, 共起ケースにおける構造学習におけるALMとQPMの収束性について検討する。 本稿では,almの標準収束結果がこれらの設定では保持されないことを示し,その挙動が悪条件化しやすいqpmと類似していることを実証的に示す。 我々はさらに,軽度条件下でのqpmのdag解への収束保証を確立する。 最後に, 理論結果と既存の手法を結びつけ, 収束問題の解決に役立てて, 実験的な比較を行った結果の検証を行う。

関連論文リスト

• Non-negative Weighted DAG Structure Learning [12.139158398361868]
  本研究は,真DAGを夜間観測から学習する問題に対処する。 本稿では, ar を返すことが保証される手法に基づく DAG 回復アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-12T09:41:29Z)
• Kernel-Based Differentiable Learning of Non-Parametric Directed Acyclic Graphical Models [17.52142371968811]
  因果発見は因果モデルを符号化する有向非巡回グラフ (DAG) を学ぶことに相当する。 近年の研究では、因果発見を連続最適化問題として再検討し、探索を回避しようとしている。
  論文  参考訳（メタデータ） (2024-08-20T16:09:40Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• On the Sparse DAG Structure Learning Based on Adaptive Lasso [39.31370830038554]
  適応NOTEARS[30]という,事前定義されたしきい値のないデータ駆動型DAG構造学習手法を開発した。 適応型NOTEARSは特定の条件下でのオラクル特性を享受できることを示し, シミュレーションの結果, エッジのギャップをゼロに設定することなく, 提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-09-07T05:47:59Z)
• Instance-Dependent Confidence and Early Stopping for Reinforcement Learning [99.57168572237421]
  強化学習(RL)のための様々なアルゴリズムは、その収束率の劇的な変動を問題構造の関数として示している。 この研究は、観察されたパフォーマンスの違いについて、textitexを説明する保証を提供する。 次の自然なステップは、これらの理論的保証を実際に有用なガイドラインに変換することです。
  論文  参考訳（メタデータ） (2022-01-21T04:25:35Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• The Strength of Nesterov's Extrapolation in the Individual Convergence of Nonsmooth Optimization [0.0]
  ネステロフの外挿は、非滑らかな問題に対して勾配降下法の個人収束を最適にする強さを持つことを証明している。 提案手法は,設定の非滑らかな損失を伴って正規化学習タスクを解くためのアルゴリズムの拡張である。 本手法は,大規模な1-正規化ヒンジロス学習問題の解法として有効である。
  論文  参考訳（メタデータ） (2020-06-08T03:35:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。