論文の概要: A Skewness-Based Criterion for Addressing Heteroscedastic Noise in Causal Discovery

• arxiv url: http://arxiv.org/abs/2410.06407v1
• Date: Tue, 8 Oct 2024 22:28:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 05:59:12.486252
• Title: A Skewness-Based Criterion for Addressing Heteroscedastic Noise in Causal Discovery
• Title（参考訳）: 難治性難聴における難治性難聴に対するスキューネス基準の検討
• Authors: Yingyu Lin, Yuxing Huang, Wenqin Liu, Haoran Deng, Ignavier Ng, Kun Zhang, Mingming Gong, Yi-An Ma, Biwei Huang,
• Abstract要約: 非定常対称雑音モデル(HSNMs)について検討する。 データ分布のスコア(すなわちログ密度の勾配)の歪度に基づいて、HSNMを識別するための新しい基準を導入する。 外部ノイズの抽出を必要とせずにヘテロ代用ノイズを処理するアルゴリズムであるSkewScoreを提案する。
• 参考スコア（独自算出の注目度）: 47.36895591886043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world data often violates the equal-variance assumption (homoscedasticity), making it essential to account for heteroscedastic noise in causal discovery. In this work, we explore heteroscedastic symmetric noise models (HSNMs), where the effect $Y$ is modeled as $Y = f(X) + \sigma(X)N$, with $X$ as the cause and $N$ as independent noise following a symmetric distribution. We introduce a novel criterion for identifying HSNMs based on the skewness of the score (i.e., the gradient of the log density) of the data distribution. This criterion establishes a computationally tractable measurement that is zero in the causal direction but nonzero in the anticausal direction, enabling the causal direction discovery. We extend this skewness-based criterion to the multivariate setting and propose SkewScore, an algorithm that handles heteroscedastic noise without requiring the extraction of exogenous noise. We also conduct a case study on the robustness of SkewScore in a bivariate model with a latent confounder, providing theoretical insights into its performance. Empirical studies further validate the effectiveness of the proposed method.
• Abstract（参考訳）: 実世界のデータは、しばしば等分散仮定(ホモセダスティック性)に反し、因果発見においてヘテロセダスティックノイズを考慮することが不可欠である。 本研究では,非定常対称雑音モデル (HSNMs) について検討し,その効果を$Y = f(X) + \sigma(X)N$,$X$を原因として$N$を対称分布に続く独立雑音としてモデル化する。 データ分布のスコア(すなわちログ密度の勾配)の歪度に基づいて、HSNMを識別するための新しい基準を導入する。 この基準は、因果方向ではゼロであるが、反因果方向ではゼロではない計算的に引き出すことができる測定値を確立し、因果方向の発見を可能にする。 我々は、この歪度に基づく基準を多変量設定に拡張し、異種性雑音の抽出を必要とせず、異種性雑音を処理するアルゴリズムであるSkewScoreを提案する。 また,2変量モデルにおけるSkewScoreの堅牢性に関するケーススタディを実施し,その性能に関する理論的知見を提供する。 実験的な研究により,提案手法の有効性がさらに検証された。

関連論文リスト

• A quasi-Bayesian sequential approach to deconvolution density estimation [7.10052009802944]
  密度デコンボリューションは、データからランダム信号の未知の密度関数$f$を推定する。 我々は、ノイズの多いデータが徐々に到着するストリーミングやオンライン環境での密度デコンボリューションの問題を考察する。 準ベイズ的シーケンシャルアプローチを頼りにすると、容易に評価できる$f$の推定値が得られる。
  論文  参考訳（メタデータ） (2024-08-26T16:40:04Z)
• Robust Estimation of Causal Heteroscedastic Noise Models [7.568978862189266]
  学生の$t$-distributionは、より小さなサンプルサイズと極端な値で、全体の分布形態を著しく変えることなく、サンプル変数をサンプリングすることの堅牢さで知られている。 我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。
  論文  参考訳（メタデータ） (2023-12-15T02:26:35Z)
• Causal Discovery with Score Matching on Additive Models with Arbitrary Noise [37.13308785728276]
  因果発見法は、構造識別可能性を保証するために必要な仮定のセットによって本質的に制約される。 本稿では,雑音項のガウス性に反するエッジ反転のリスクを解析し,この仮説の下での推論の欠点を示す。 本稿では,一般的な雑音分布を持つ付加非線形モデルに基づいて生成されたデータから,因果グラフ内の変数の位相的順序付けを推定する新しい手法を提案する。 これは、最小限の仮定と、合成データに基づいて実験的にベンチマークされた技術性能の状態を持つ因果探索アルゴリズムであるNoGAMに繋がる。
  論文  参考訳（メタデータ） (2023-04-06T17:50:46Z)
• Doubly Stochastic Models: Learning with Unbiased Label Noises and Inference Stability [85.1044381834036]
  勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。 そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。 我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
  論文  参考訳（メタデータ） (2023-04-01T14:09:07Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• On the Role of Entropy-based Loss for Learning Causal Structures with Continuous Optimization [27.613220411996025]
  因果構造学習問題を最小二乗損失を用いた連続最適化問題として定式化する。 ガウス雑音の仮定に違反すると因果方向の同定が妨げられることを示す。 より一般的なエントロピーに基づく損失は、任意の雑音分布下での確率スコアと理論的に一致している。
  論文  参考訳（メタデータ） (2021-06-05T08:29:51Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。