#### 論文の概要: On the Role of Sparsity and DAG Constraints for Learning Linear DAGs

• arxiv url: http://arxiv.org/abs/2006.10201v3
• Date: Fri, 8 Jan 2021 20:05:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 20:01:03.776576
• Title: On the Role of Sparsity and DAG Constraints for Learning Linear DAGs
• Title（参考訳）: 線形DAG学習におけるスパーシリティとDAG制約の役割について
• Authors: Ignavier Ng, AmirEmad Ghassami, Kun Zhang
• Abstract要約: ガウス系および非ガウス系におけるDAGモデルの学習におけるスパーシリティとDAG制約の役割について検討した。 確率に基づくスコア関数を提案し, 基本真理DAGと同等のDAGを学習するためには, ソフト・スパシティとDAG制約を適用するだけでよいことを示す。
• 参考スコア（独自算出の注目度）: 16.97675762810828
• Abstract: Learning graphical structures based on Directed Acyclic Graphs (DAGs) is a challenging problem, partly owing to the large search space of possible graphs. A recent line of work formulates the structure learning problem as a continuous constrained optimization task using the least squares objective and an algebraic characterization of DAGs. However, the formulation requires a hard DAG constraint and may lead to optimization difficulties. In this paper, we study the asymptotic role of the sparsity and DAG constraints for learning DAG models in the linear Gaussian and non-Gaussian cases, and investigate their usefulness in the finite sample regime. Based on the theoretical results, we formulate a likelihood-based score function, and show that one only has to apply soft sparsity and DAG constraints to learn a DAG equivalent to the ground truth DAG. This leads to an unconstrained optimization problem that is much easier to solve. Using gradient-based optimization and GPU acceleration, our procedure can easily handle thousands of nodes while retaining a high accuracy. Extensive experiments validate the effectiveness of our proposed method and show that the DAG-penalized likelihood objective is indeed favorable over the least squares one with the hard DAG constraint.
• Abstract（参考訳）: DAG(Directed Acyclic Graphs)に基づくグラフィカル構造学習は,グラフの巨大な探索空間のため,難しい問題である。 最近の研究の行は、最小二乗目標とDAGの代数的特徴を用いた連続的制約付き最適化タスクとして構造学習問題を定式化している。 しかし、定式化には厳しいDAG制約が必要であり、最適化が困難になる可能性がある。 本稿では,リニアガウスおよび非ガウスにおけるDAGモデルの学習における空間的制約とDAG制約の漸近的役割について検討し,その有限標本法における有用性について検討する。 理論的結果に基づいて、確率に基づくスコア関数を定式化し、基底真理DAGと同等のDAGを学習するためには、ソフトなスパーシリティとDAG制約を適用するだけでよいことを示す。 これにより、制約のない最適化問題が解決しやすくなる。 勾配に基づく最適化とgpuアクセラレーションを用いることで,精度を維持しながら数千のノードを容易に処理できる。 提案手法の有効性を検証し, 硬度DAG制約の最小二乗法よりもDAG補償可能性目的が有利であることを示す。

#### 関連論文リスト

• Discovering Dynamic Causal Space for DAG Structure Learning [64.763763417533]
本稿では,DAG構造学習のための動的因果空間であるCASPERを提案する。 グラフ構造をスコア関数に統合し、因果空間における新しい尺度として、推定真理DAGと基底真理DAGの因果距離を忠実に反映する。
論文  参考訳（メタデータ） (2023-06-05T12:20:40Z)
• Truncated Matrix Power Iteration for Differentiable DAG Learning [47.69479930501961]
本稿では,列ベースDAG制約を近似するために,効率的な乱数行列パワーを持つ新しいDAG学習法を提案する。 実験により,DAG学習法は,様々な設定で従来の最先端技術よりも優れていた。
論文  参考訳（メタデータ） (2022-08-30T23:56:12Z)
• From graphs to DAGs: a low-complexity model and a scalable algorithm [0.0]
本稿では,低ランク行列因数分解とDAGの連続的な最適化のためのスペース化機構を組み合わせたLoRAM for Low-Rank Additive Modelを提案する。 提案手法は,NoTearsと同じDAG特性関数を扱いながら,立方的複雑性から二次的複雑性への還元を実現する。
論文  参考訳（メタデータ） (2022-04-10T10:22:56Z)
• BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。 近年の進歩により、観測データからDAGの有効最大点推定が可能となった。 線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
論文  参考訳（メタデータ） (2021-12-06T03:35:21Z)
• Multi-task Learning of Order-Consistent Causal Graphs [59.9575145128345]
我々は、\$K関連ガウス非巡回グラフ(DAG)の発見問題を考える。 マルチタスク学習環境下では, 線形構造方程式モデルを学習するためのMLE (\$l_1/l\$-regularized maximum chance estimator) を提案する。 理論的には、関係するタスクにまたがるデータを活用することで、因果順序を復元する際のサンプルの複雑さをより高めることができることを示す。
論文  参考訳（メタデータ） (2021-11-03T22:10:18Z)
• Learning Large DAGs by Combining Continuous Optimization and Feedback Arc Set Heuristics [0.3553493344868413]
線形構造方程式の場合,DAGを学習するための2つのスケーラブルNPを提案する。 対象関数を最適化するために、制約のない勾配降下に基づくステップを交互に組み合わせてDAGを学習する。 この分離のおかげで、私たちのメソッドは何千もの変数を越えてスケールアップされます。
論文  参考訳（メタデータ） (2021-07-01T16:10:21Z)
• DAGs with No Curl: An Efficient DAG Structure Learning Approach [62.885572432958504]
近年のDAG構造学習は連続的な非巡回性制約を伴う制約付き連続最適化問題として定式化されている。 本稿では,DAG空間の重み付き隣接行列を直接モデル化し,学習するための新しい学習フレームワークを提案する。 本手法は, 線形および一般化された構造方程式モデルにおいて, ベースラインDAG構造学習法よりも精度が高いが, 効率がよいことを示す。
論文  参考訳（メタデータ） (2021-06-14T07:11:36Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)