論文の概要: Markov Equivalence and Consistency in Differentiable Structure Learning

• arxiv url: http://arxiv.org/abs/2410.06163v3
• Date: Wed, 27 Nov 2024 17:49:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:24:07.780884
• Title: Markov Equivalence and Consistency in Differentiable Structure Learning
• Title（参考訳）: 微分可能な構造学習におけるマルコフ等価性と一貫性
• Authors: Chang Deng, Kevin Bello, Pradeep Ravikumar, Bryon Aragam,
• Abstract要約: 有向非巡回グラフ(DAG)の微分可能な構造学習への既存のアプローチは、強い識別可能性仮定に依存している。 一般確率下での微分可能非周期制約プログラムの挙動を解析することにより,これらの問題を説明・改善する。
• 参考スコア（独自算出の注目度）: 38.25218464260965
• License:
• Abstract: Existing approaches to differentiable structure learning of directed acyclic graphs (DAGs) rely on strong identifiability assumptions in order to guarantee that global minimizers of the acyclicity-constrained optimization problem identifies the true DAG. Moreover, it has been observed empirically that the optimizer may exploit undesirable artifacts in the loss function. We explain and remedy these issues by studying the behavior of differentiable acyclicity-constrained programs under general likelihoods with multiple global minimizers. By carefully regularizing the likelihood, it is possible to identify the sparsest model in the Markov equivalence class, even in the absence of an identifiable parametrization. We first study the Gaussian case in detail, showing how proper regularization of the likelihood defines a score that identifies the sparsest model. Assuming faithfulness, it also recovers the Markov equivalence class. These results are then generalized to general models and likelihoods, where the same claims hold. These theoretical results are validated empirically, showing how this can be done using standard gradient-based optimizers, thus paving the way for differentiable structure learning under general models and losses.
• Abstract（参考訳）: 有向非巡回グラフ(DAG)の微分可能構造学習への既存のアプローチは、非巡回性制約付き最適化問題の大域的最小化が真のDAGを特定することを保証するために、強い識別可能性仮定に依存している。 さらに、オプティマイザが損失関数の望ましくないアーティファクトを活用できることを実証的に観察している。 複数の大域最小化器を持つ一般確率下での微分可能非周期制約プログラムの挙動を解析し、これらの問題を説明し、改善する。 確率を慎重に正則化することにより、同定可能なパラメトリゼーションが存在しない場合でも、マルコフ同値類におけるスパースモデルを特定することができる。 まず、ガウスのケースを詳細に研究し、確率の正則化がいかにしてスパースモデルを特定するスコアを定義するかを示す。 忠実さを仮定すると、マルコフ同値類も回復する。 これらの結果は、同じ主張が成り立つ一般的なモデルや可能性に一般化される。 これらの理論的結果は実証的に検証され、これを標準勾配に基づく最適化を用いてどのように行うかを示し、一般的なモデルと損失の下での微分可能な構造学習の道を開く。

関連論文リスト

• Generalized Criterion for Identifiability of Additive Noise Models Using Majorization [7.448620208767376]
  本稿では,有向非巡回グラフ(DAG)モデルに対する新しい識別可能性基準を提案する。 この基準が既存の識別可能性基準を拡張し、一般化することを実証する。 本稿では,変数のトポロジ的順序付けを学習するための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-08T02:18:57Z)
• Leveraging Task Structures for Improved Identifiability in Neural Network Representations [31.863998589693065]
  教師あり学習における識別可能性の理論を,タスクの分布にアクセスできる結果を考慮して拡張する。 一般マルチタスク回帰設定において線形識別性が達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-06-26T17:16:50Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Deviance Matrix Factorization [6.509665408765348]
  偏差に基づくデータ損失に対する一般的な行列係数化について検討し、任意の特異値分解を2乗誤差損失を超えて拡張する。 本手法は,一般化線形モデル(GLM)から古典統計手法を応用し,入射重みによる構造零点の許容に十分柔軟な効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-10-12T01:27:55Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• VAE Approximation Error: ELBO and Conditional Independence [78.72292013299868]
  本稿では,ELBO目標とエンコーダ確率系列の選択の組み合わせによるVAE近似誤差を解析する。 より深いエンコーダネットワークを考慮すれば,ELBOサブセットを拡大することができず,各エラーを低減できないことを示す。
  論文  参考訳（メタデータ） (2021-02-18T12:54:42Z)
• Understanding Double Descent Requires a Fine-Grained Bias-Variance Decomposition [34.235007566913396]
  ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。 バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。 我々はまた、著しく豊かな現象論も分析する。
  論文  参考訳（メタデータ） (2020-11-04T21:04:02Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。