論文の概要: On the Role of Entropy-based Loss for Learning Causal Structures with Continuous Optimization

• arxiv url: http://arxiv.org/abs/2106.02835v4
• Date: Mon, 30 Oct 2023 02:21:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 05:22:41.431635
• Title: On the Role of Entropy-based Loss for Learning Causal Structures with Continuous Optimization
• Title（参考訳）: 連続最適化による因果構造学習におけるエントロピーに基づく損失の役割について
• Authors: Weilin Chen, Jie Qiao, Ruichu Cai, Zhifeng Hao
• Abstract要約: 因果構造学習問題を最小二乗損失を用いた連続最適化問題として定式化する。 ガウス雑音の仮定に違反すると因果方向の同定が妨げられることを示す。 より一般的なエントロピーに基づく損失は、任意の雑音分布下での確率スコアと理論的に一致している。
• 参考スコア（独自算出の注目度）: 27.613220411996025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Causal discovery from observational data is an important but challenging task in many scientific fields. Recently, a method with non-combinatorial directed acyclic constraint, called NOTEARS, formulates the causal structure learning problem as a continuous optimization problem using least-square loss. Though the least-square loss function is well justified under the standard Gaussian noise assumption, it is limited if the assumption does not hold. In this work, we theoretically show that the violation of the Gaussian noise assumption will hinder the causal direction identification, making the causal orientation fully determined by the causal strength as well as the variances of noises in the linear case and by the strong non-Gaussian noises in the nonlinear case. Consequently, we propose a more general entropy-based loss that is theoretically consistent with the likelihood score under any noise distribution. We run extensive empirical evaluations on both synthetic data and real-world data to validate the effectiveness of the proposed method and show that our method achieves the best in Structure Hamming Distance, False Discovery Rate, and True Positive Rate matrices.
• Abstract（参考訳）: 観測データからの因果発見は多くの科学分野において重要であるが難しい課題である。 近年, notears と呼ばれる非組合せ有向非巡回制約を用いた手法では, 因果構造学習問題を最小二乗損失を用いた連続最適化問題として定式化している。 最小二乗損失関数は標準ガウス雑音仮定の下では十分正当化されるが、仮定が成り立たない場合に制限される。 本研究では,ガウス雑音の仮定違反が因果方向の同定を妨げることを理論的に示し,因果方向が線形の場合や非線形の場合の強い非ガウス雑音のばらつきと同様に因果方向の強さによって完全に決定されることを示す。 その結果,任意の雑音分布下での確率値と理論的に一致した,より一般的なエントロピーに基づく損失を提案する。 提案手法の有効性を検証するために合成データと実世界のデータの両方について広範な実験評価を行い,提案手法が構造ハミング距離,偽発見率,真正率行列において最良であることを示す。

関連論文リスト

• Causal Discovery with Score Matching on Additive Models with Arbitrary Noise [37.13308785728276]
  因果発見法は、構造識別可能性を保証するために必要な仮定のセットによって本質的に制約される。 本稿では,雑音項のガウス性に反するエッジ反転のリスクを解析し,この仮説の下での推論の欠点を示す。 本稿では,一般的な雑音分布を持つ付加非線形モデルに基づいて生成されたデータから,因果グラフ内の変数の位相的順序付けを推定する新しい手法を提案する。 これは、最小限の仮定と、合成データに基づいて実験的にベンチマークされた技術性能の状態を持つ因果探索アルゴリズムであるNoGAMに繋がる。
  論文  参考訳（メタデータ） (2023-04-06T17:50:46Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• Robust Matrix Completion with Heavy-tailed Noise [0.5837881923712392]
  本稿では,重み付き潜在的非対称雑音の存在下での低ランク行列の完全性について検討する。 本稿では,大規模かつ非対称な誤りに対して頑健な重み付き雑音に適応するハマー損失を適応的に適用する。 誤差の2番目のモーメント条件下では、ユークリッド誤差は最小値の統計的推定誤差に到達するまで幾何的に早く落ちることが証明される。
  論文  参考訳（メタデータ） (2022-06-09T04:48:48Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Partial Identification with Noisy Covariates: A Robust Optimization Approach [94.10051154390237]
  観測データセットからの因果推論は、しばしば共変量の測定と調整に依存する。 このロバストな最適化手法により、広範囲な因果調整法を拡張し、部分的同定を行うことができることを示す。 合成および実データセット全体で、このアプローチは既存の手法よりも高いカバレッジ確率でATEバウンダリを提供する。
  論文  参考訳（メタデータ） (2022-02-22T04:24:26Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• Analyzing and Improving the Optimization Landscape of Noise-Contrastive Estimation [50.85788484752612]
  ノイズコントラスト推定(NCE)は、非正規化確率モデルを学習するための統計的に一貫した手法である。 ノイズ分布の選択がNCEの性能に不可欠であることが実験的に観察されている。 本研究では,不適切な雑音分布を用いた場合,NCEの性能低下の原因を正式に指摘する。
  論文  参考訳（メタデータ） (2021-10-21T16:57:45Z)
• Noisy Gradient Descent Converges to Flat Minima for Nonconvex Matrix Factorization [36.182992409810446]
  本稿では,非最適化問題における雑音の重要性について考察する。 勾配勾配勾配は、入射雑音によって決定される大域バイアスに収束する任意の大域的な形式に収束できることを示す。
  論文  参考訳（メタデータ） (2021-02-24T17:50:17Z)
• Causal Inference Using Linear Time-Varying Filters with Additive Noise [18.35147325731821]
  制約構造因果モデルフレームワークを用いた因果推論は、データ生成機構による原因と効果の非対称性に大きく依存する。 データの非定常性を利用して対称性を破ることを提案する。 主な理論的結果は,原因と効果が時間変化フィルタを介して接続された場合,因果方向が汎用ケースで同定可能であることを示している。
  論文  参考訳（メタデータ） (2020-12-23T23:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。