論文の概要: Truncated Matrix Power Iteration for Differentiable DAG Learning

• arxiv url: http://arxiv.org/abs/2208.14571v1
• Date: Tue, 30 Aug 2022 23:56:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-01 12:57:06.782642
• Title: Truncated Matrix Power Iteration for Differentiable DAG Learning
• Title（参考訳）: 微分可能DAG学習のためのTrncated Matrix Power Iteration
• Authors: Zhen Zhang, Ignavier Ng, Dong Gong, Yuhang Liu, Ehsan M Abbasnejad, Mingming Gong, Kun Zhang, Javen Qinfeng Shi
• Abstract要約: 本稿では,列ベースDAG制約を近似するために,効率的な乱数行列パワーを持つ新しいDAG学習法を提案する。 実験により,DAG学習法は,様々な設定で従来の最先端技術よりも優れていた。
• 参考スコア（独自算出の注目度）: 47.69479930501961
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recovering underlying Directed Acyclic Graph structures (DAG) from observational data is highly challenging due to the combinatorial nature of the DAG-constrained optimization problem. Recently, DAG learning has been cast as a continuous optimization problem by characterizing the DAG constraint as a smooth equality one, generally based on polynomials over adjacency matrices. Existing methods place very small coefficients on high-order polynomial terms for stabilization, since they argue that large coefficients on the higher-order terms are harmful due to numeric exploding. On the contrary, we discover that large coefficients on higher-order terms are beneficial for DAG learning, when the spectral radiuses of the adjacency matrices are small, and that larger coefficients for higher-order terms can approximate the DAG constraints much better than the small counterparts. Based on this, we propose a novel DAG learning method with efficient truncated matrix power iteration to approximate geometric series-based DAG constraints. Empirically, our DAG learning method outperforms the previous state-of-the-arts in various settings, often by a factor of 3 or more in terms of structural Hamming distance.
• Abstract（参考訳）: DAG制約最適化問題の組合せ性のため,観測データからDAG(Directed Acyclic Graph Structure)を復元することは極めて困難である。 近年、DAG学習はDAG制約をスムーズな等式として特徴付け、概して隣接行列上の多項式に基づく連続最適化問題として採用されている。 既存の手法では、高次項上の大きな係数は数値の爆発によって有害であると主張するため、安定化のための高次多項式項に非常に小さな係数を置く。 逆に,隣接行列のスペクトル半径が小さい場合,高次項に対する大きな係数はdag学習に有益であり,高次項に対する大きな係数は小さい項よりもdag制約をはるかによく近似できることがわかった。 そこで本研究では, 近似的直列ベースDAG制約を実現するために, 効率的な行列パワーイテレーションを用いたDAG学習手法を提案する。 我々のDAG学習法は、様々な設定において、しばしば構造的ハミング距離の3倍以上の要因により、過去の最先端技術よりも優れています。

関連論文リスト

• Non-negative Weighted DAG Structure Learning [12.139158398361868]
  本研究は,真DAGを夜間観測から学習する問題に対処する。 本稿では, ar を返すことが保証される手法に基づく DAG 回復アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-12T09:41:29Z)
• Recovering Linear Causal Models with Latent Variables via Cholesky Factorization of Covariance Matrix [21.698480201955213]
  観測データの共分散行列のコレスキー分解に基づくDAG構造復元アルゴリズムを提案する。 合成および実世界のデータセットでは、アルゴリズムは従来の手法よりも大幅に高速で、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-01T17:27:49Z)
• From graphs to DAGs: a low-complexity model and a scalable algorithm [0.0]
  本稿では,低ランク行列因数分解とDAGの連続的な最適化のためのスペース化機構を組み合わせたLoRAM for Low-Rank Additive Modelを提案する。 提案手法は,NoTearsと同じDAG特性関数を扱いながら,立方的複雑性から二次的複雑性への還元を実現する。
  論文  参考訳（メタデータ） (2022-04-10T10:22:56Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Learning Large DAGs by Combining Continuous Optimization and Feedback Arc Set Heuristics [0.3553493344868413]
  線形構造方程式の場合,DAGを学習するための2つのスケーラブルNPを提案する。 対象関数を最適化するために、制約のない勾配降下に基づくステップを交互に組み合わせてDAGを学習する。 この分離のおかげで、私たちのメソッドは何千もの変数を越えてスケールアップされます。
  論文  参考訳（メタデータ） (2021-07-01T16:10:21Z)
• DAGs with No Curl: An Efficient DAG Structure Learning Approach [62.885572432958504]
  近年のDAG構造学習は連続的な非巡回性制約を伴う制約付き連続最適化問題として定式化されている。 本稿では,DAG空間の重み付き隣接行列を直接モデル化し,学習するための新しい学習フレームワークを提案する。 本手法は, 線形および一般化された構造方程式モデルにおいて, ベースラインDAG構造学習法よりも精度が高いが, 効率がよいことを示す。
  論文  参考訳（メタデータ） (2021-06-14T07:11:36Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• On the Role of Sparsity and DAG Constraints for Learning Linear DAGs [16.97675762810828]
  ガウス系および非ガウス系におけるDAGモデルの学習におけるスパーシリティとDAG制約の役割について検討した。 確率に基づくスコア関数を提案し, 基本真理DAGと同等のDAGを学習するためには, ソフト・スパシティとDAG制約を適用するだけでよいことを示す。
  論文  参考訳（メタデータ） (2020-06-17T23:43:23Z)
• Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\"om method [76.73096213472897]
  我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。 我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。 RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
  論文  参考訳（メタデータ） (2020-02-21T00:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。