論文の概要: Robust Estimation of Causal Heteroscedastic Noise Models

• arxiv url: http://arxiv.org/abs/2312.10102v1
• Date: Fri, 15 Dec 2023 02:26:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 18:33:50.550597
• Title: Robust Estimation of Causal Heteroscedastic Noise Models
• Title（参考訳）: 因果難聴モデルにおけるロバスト推定
• Authors: Quang-Duy Tran, Bao Duong, Phuoc Nguyen, Thin Nguyen
• Abstract要約: 学生の$t$-distributionは、より小さなサンプルサイズと極端な値で、全体の分布形態を著しく変えることなく、サンプル変数をサンプリングすることの堅牢さで知られている。 我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。
• 参考スコア（独自算出の注目度）: 7.568978862189266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distinguishing the cause and effect from bivariate observational data is the foundational problem that finds applications in many scientific disciplines. One solution to this problem is assuming that cause and effect are generated from a structural causal model, enabling identification of the causal direction after estimating the model in each direction. The heteroscedastic noise model is a type of structural causal model where the cause can contribute to both the mean and variance of the noise. Current methods for estimating heteroscedastic noise models choose the Gaussian likelihood as the optimization objective which can be suboptimal and unstable when the data has a non-Gaussian distribution. To address this limitation, we propose a novel approach to estimating this model with Student's $t$-distribution, which is known for its robustness in accounting for sampling variability with smaller sample sizes and extreme values without significantly altering the overall distribution shape. This adaptability is beneficial for capturing the parameters of the noise distribution in heteroscedastic noise models. Our empirical evaluations demonstrate that our estimators are more robust and achieve better overall performance across synthetic and real benchmarks.
• Abstract（参考訳）: 二変量観測データから原因と効果を区別することは、多くの科学分野に応用できる基礎的な問題である。 この問題の解決策の1つは、構造因果モデルから原因と効果が生成されることを仮定し、モデルの各方向の推定後の因果方向の同定を可能にすることである。 ヘテロシドスティックノイズモデル(heteroscedastic noise model)は、ノイズの平均と分散の両方に原因が貢献できる構造因果モデルの一種である。 異方性雑音モデル推定法では,非ガウス分布を持つ場合,最適かつ不安定な最適化対象としてガウス確率を選択する。 この制限に対処するために,本モデルを評価するための新しい手法として,学生の$t$-distributionを提案する。 この適応性は、ヘテロシドスティックノイズモデルにおける雑音分布のパラメータを捉えるのに有用である。 我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。

関連論文リスト

• Robust Gaussian Processes via Relevance Pursuit [17.39376866275623]
  本稿では,データポイント固有ノイズレベルを推定することにより,スパースアウトレーヤに対するロバスト性を実現するGPモデルを提案する。 我々は,データポイント固有ノイズ分散において,関連する対数限界確率が強く抑制されるようなパラメータ化が可能であることを,驚くべきことに示している。
  論文  参考訳（メタデータ） (2024-10-31T17:59:56Z)
• A Skewness-Based Criterion for Addressing Heteroscedastic Noise in Causal Discovery [47.36895591886043]
  非定常対称雑音モデル(HSNMs)について検討する。 データ分布のスコア(すなわちログ密度の勾配)の歪度に基づいて、HSNMを識別するための新しい基準を導入する。 外部ノイズの抽出を必要とせずにヘテロ代用ノイズを処理するアルゴリズムであるSkewScoreを提案する。
  論文  参考訳（メタデータ） (2024-10-08T22:28:30Z)
• Cause-Effect Inference in Location-Scale Noise Models: Maximum Likelihood vs. Independence Testing [19.23479356810746]
  因果発見の根本的な問題は因果推論であり、2つの確率変数間の正しい因果方向を学習する。 最近導入されたヘテロセダスティックな位置スケールノイズ汎関数モデル(LSNM)は、表現力と識別可能性の保証を組み合わせたものである。 雑音分布が正しく特定された場合,LSNMモデル選択が最先端の精度を実現することを示す。
  論文  参考訳（メタデータ） (2023-01-26T20:48:32Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。