論文の概要: CoLiDE: Concomitant Linear DAG Estimation
- arxiv url: http://arxiv.org/abs/2310.02895v1
- Date: Wed, 4 Oct 2023 15:32:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 14:28:33.653271
- Title: CoLiDE: Concomitant Linear DAG Estimation
- Title（参考訳）: CoLiDE: 共用線形DAG推定
- Authors: Seyed Saman Saboksayr, Gonzalo Mateos, Mariano Tepper
- Abstract要約: 観測データから線形方程式への非巡回グラフ構造学習の問題に対処する。
本稿では,空間認識学習DAGのための新しい凸スコア関数を提案する。
- 参考スコア（独自算出の注目度）: 12.415463205960156
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We deal with the combinatorial problem of learning directed acyclic graph
(DAG) structure from observational data adhering to a linear structural
equation model (SEM). Leveraging advances in differentiable, nonconvex
characterizations of acyclicity, recent efforts have advocated a continuous
constrained optimization paradigm to efficiently explore the space of DAGs.
Most existing methods employ lasso-type score functions to guide this search,
which (i) require expensive penalty parameter retuning when the
$\textit{unknown}$ SEM noise variances change across problem instances; and
(ii) implicitly rely on limiting homoscedasticity assumptions. In this work, we
propose a new convex score function for sparsity-aware learning of linear DAGs,
which incorporates concomitant estimation of scale and thus effectively
decouples the sparsity parameter from the exogenous noise levels.
Regularization via a smooth, nonconvex acyclicity penalty term yields CoLiDE
($\textbf{Co}$ncomitant $\textbf{Li}$near $\textbf{D}$AG
$\textbf{E}$stimation), a regression-based criterion amenable to efficient
gradient computation and closed-form estimation of noise variances in
heteroscedastic scenarios. Our algorithm outperforms state-of-the-art methods
without incurring added complexity, especially when the DAGs are larger and the
noise level profile is heterogeneous. We also find CoLiDE exhibits enhanced
stability manifested via reduced standard deviations in several domain-specific
metrics, underscoring the robustness of our novel linear DAG estimator.
- Abstract（参考訳）: 本研究では,線形構造方程式モデル(SEM)に付着した観測データから,有向非巡回グラフ(DAG)構造を学習する組合せ問題に対処する。
微分可能で非凸な非サイクリック性の特徴付けの進歩を活用して、近年の取り組みは、DAGの空間を効率的に探索する継続的な制約付き最適化パラダイムを提唱している。
既存の手法のほとんどは、この探索を導くためにlasso型スコア関数を使っている。
i)$\textit{unknown}$ SEMのノイズ分散が問題インスタンス間で変化するとき、高価なペナルティパラメータの調整が必要です。
(ii)帰納的仮定の制限に暗黙的に依拠する。
本研究では,線形DAGの疎度認識学習のための新しい凸スコア関数を提案する。これは,スケールの共役推定を取り入れ,外因性雑音レベルから疎度パラメータを効果的に分離するものである。
滑らかで非凸な非巡回的ペナルティ項による正規化は、ヘテロシステティックなシナリオにおけるノイズ分散の効率的な勾配計算と閉形式推定を可能にする回帰ベースの基準である colide (\textbf{co}$ncomitant $\textbf{li}$near $\textbf{d}$ag $\textbf{e}$stimation) を与える。
提案アルゴリズムは,DAGが大きく,ノイズレベルプロファイルが不均一である場合に,付加的な複雑性を伴わずに,最先端の手法よりも優れる。
また、CoLiDEはいくつかの領域固有の指標において標準偏差を減らし、新しい線形DAG推定器の頑健さを裏付ける安定性を示す。
関連論文リスト
- Non-negative Weighted DAG Structure Learning [12.139158398361868]
本研究は,真DAGを夜間観測から学習する問題に対処する。
本稿では, ar を返すことが保証される手法に基づく DAG 回復アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-12T09:41:29Z) - Kernel-Based Differentiable Learning of Non-Parametric Directed Acyclic Graphical Models [17.52142371968811]
因果発見は因果モデルを符号化する有向非巡回グラフ (DAG) を学ぶことに相当する。
近年の研究では、因果発見を連続最適化問題として再検討し、探索を回避しようとしている。
論文 参考訳（メタデータ） (2024-08-20T16:09:40Z) - Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。
また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
論文 参考訳（メタデータ） (2023-10-21T00:03:54Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - dotears: Scalable, consistent DAG estimation using observational and
interventional data [1.220743263007369]
因果性遺伝子制御ネットワークはDAG(direct acyclic graph)によって表現できる
単一の因果構造を推論する継続的最適化フレームワークであるtexttdotears$[doo-tairs]を提示する。
我々は、$texttdotears$は、軽度の仮定の下で真DAGの証明可能な一貫した推定量であることを示した。
論文 参考訳（メタデータ） (2023-05-30T17:03:39Z) - On the Sparse DAG Structure Learning Based on Adaptive Lasso [39.31370830038554]
適応NOTEARS[30]という,事前定義されたしきい値のないデータ駆動型DAG構造学習手法を開発した。
適応型NOTEARSは特定の条件下でのオラクル特性を享受できることを示し, シミュレーションの結果, エッジのギャップをゼロに設定することなく, 提案手法の有効性を検証した。
論文 参考訳（メタデータ） (2022-09-07T05:47:59Z) - Clipped Stochastic Methods for Variational Inequalities with
Heavy-Tailed Noise [64.85879194013407]
単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。
この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。
さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
論文 参考訳（メタデータ） (2022-06-02T15:21:55Z) - A Priori Denoising Strategies for Sparse Identification of Nonlinear
Dynamical Systems: A Comparative Study [68.8204255655161]
本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。
一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-01-29T23:31:25Z) - BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。
近年の進歩により、観測データからDAGの有効最大点推定が可能となった。
線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
論文 参考訳（メタデータ） (2021-12-06T03:35:21Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。