論文の概要: Robust Estimation of Causal Heteroscedastic Noise Models
- arxiv url: http://arxiv.org/abs/2312.10102v1
- Date: Fri, 15 Dec 2023 02:26:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 18:33:50.550597
- Title: Robust Estimation of Causal Heteroscedastic Noise Models
- Title(参考訳): 因果難聴モデルにおけるロバスト推定
- Authors: Quang-Duy Tran, Bao Duong, Phuoc Nguyen, Thin Nguyen
- Abstract要約: 学生の$t$-distributionは、より小さなサンプルサイズと極端な値で、全体の分布形態を著しく変えることなく、サンプル変数をサンプリングすることの堅牢さで知られている。
我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。
- 参考スコア(独自算出の注目度): 7.568978862189266
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distinguishing the cause and effect from bivariate observational data is the
foundational problem that finds applications in many scientific disciplines.
One solution to this problem is assuming that cause and effect are generated
from a structural causal model, enabling identification of the causal direction
after estimating the model in each direction. The heteroscedastic noise model
is a type of structural causal model where the cause can contribute to both the
mean and variance of the noise. Current methods for estimating heteroscedastic
noise models choose the Gaussian likelihood as the optimization objective which
can be suboptimal and unstable when the data has a non-Gaussian distribution.
To address this limitation, we propose a novel approach to estimating this
model with Student's $t$-distribution, which is known for its robustness in
accounting for sampling variability with smaller sample sizes and extreme
values without significantly altering the overall distribution shape. This
adaptability is beneficial for capturing the parameters of the noise
distribution in heteroscedastic noise models. Our empirical evaluations
demonstrate that our estimators are more robust and achieve better overall
performance across synthetic and real benchmarks.
- Abstract(参考訳): 二変量観測データから原因と効果を区別することは、多くの科学分野に応用できる基礎的な問題である。
この問題の解決策の1つは、構造因果モデルから原因と効果が生成されることを仮定し、モデルの各方向の推定後の因果方向の同定を可能にすることである。
ヘテロシドスティックノイズモデル(heteroscedastic noise model)は、ノイズの平均と分散の両方に原因が貢献できる構造因果モデルの一種である。
異方性雑音モデル推定法では,非ガウス分布を持つ場合,最適かつ不安定な最適化対象としてガウス確率を選択する。
この制限に対処するために,本モデルを評価するための新しい手法として,学生の$t$-distributionを提案する。
この適応性は、ヘテロシドスティックノイズモデルにおける雑音分布のパラメータを捉えるのに有用である。
我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。
関連論文リスト
- Causal Discovery under Identifiable Heteroscedastic Noise Model [50.23769985430187]
因果DAG学習は、最近精度と効率の両面で有望な性能を達成した。
本稿では,変数間のノイズ分散の変動を考慮したDAG学習のための新しい定式化を提案する。
次に、最適化の難しさに対処する効果的な2相反復DAG学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-20T08:51:58Z) - Causal Discovery with Score Matching on Additive Models with Arbitrary
Noise [37.13308785728276]
因果発見法は、構造識別可能性を保証するために必要な仮定のセットによって本質的に制約される。
本稿では,雑音項のガウス性に反するエッジ反転のリスクを解析し,この仮説の下での推論の欠点を示す。
本稿では,一般的な雑音分布を持つ付加非線形モデルに基づいて生成されたデータから,因果グラフ内の変数の位相的順序付けを推定する新しい手法を提案する。
これは、最小限の仮定と、合成データに基づいて実験的にベンチマークされた技術性能の状態を持つ因果探索アルゴリズムであるNoGAMに繋がる。
論文 参考訳(メタデータ) (2023-04-06T17:50:46Z) - Cause-Effect Inference in Location-Scale Noise Models: Maximum
Likelihood vs. Independence Testing [19.23479356810746]
因果発見の根本的な問題は因果推論であり、2つの確率変数間の正しい因果方向を学習する。
最近導入されたヘテロセダスティックな位置スケールノイズ汎関数モデル(LSNM)は、表現力と識別可能性の保証を組み合わせたものである。
雑音分布が正しく特定された場合,LSNMモデル選択が最先端の精度を実現することを示す。
論文 参考訳(メタデータ) (2023-01-26T20:48:32Z) - Optimizing the Noise in Self-Supervised Learning: from Importance
Sampling to Noise-Contrastive Estimation [80.07065346699005]
GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。
我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。
本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
論文 参考訳(メタデータ) (2023-01-23T19:57:58Z) - The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。
特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
論文 参考訳(メタデータ) (2022-03-02T13:59:20Z) - Estimation of Bivariate Structural Causal Models by Variational Gaussian
Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
因果機構は構造因果モデルによって記述できる。
最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
論文 参考訳(メタデータ) (2021-09-06T14:52:58Z) - Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。
ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。
分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
論文 参考訳(メタデータ) (2020-06-15T18:31:02Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。