論文の概要: Learning Non-Gaussian SEMs with Conditional Risk, and Why the Direction of Recursion Matters
- arxiv url: http://arxiv.org/abs/2610.14246v1
- Date: Fri, 09 Oct 2026 19:07:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 22:29:09.740156
- Title: Learning Non-Gaussian SEMs with Conditional Risk, and Why the Direction of Recursion Matters
- Title(参考訳): 条件付きリスクを考慮した非ガウスSEMの学習と再帰の方向性
- Abstract要約: 変分に基づく手法は、等式あるいは適切に制約された誤差分散を持つガウス線形構造方程式モデル(SEM)を復元する。
条件分散の使用は、条件分散のリスクに置き換えることによって、偶発的であることを示す。
ガウス的設定で交換可能な2つの手法は、非ガウス的雑音の下で分離可能であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Variance-based methods recover a Gaussian linear structural equation model (SEM) with equal or suitably constrained error variances, either by recursively identifying the source nodes with smallest conditional variance (top-down method) or sink nodes with highest conditional variance (bottom-up method). We show that the use of conditional variance is incidental: replacing it with the conditional risk, i.e., the minimal expected loss of linear prediction under the negative log-likelihood of the noise distribution, extends both methods to non-Gaussian noise. Existing methods are the least-squares special case. This yields two main results. First, exploiting the noise distribution improves structure recovery: the matched-loss procedures recover the SEM more accurately than their least-squares counterparts and the LiNGAM methods, which are designed for non-Gaussianity. Second, the two methods, interchangeable in the Gaussian setting, separate under non-Gaussian noise: the top-down method is correct for every noise density with finite differential entropy, whereas the bottom-up method requires a regularity condition and can fail without it, for instance under mean-zero exponential or Cauchy noise. Simulations confirm both results.
- Abstract(参考訳): 変量に基づく手法は、ソースノードを最小条件分散(トップダウン法)で再帰的に識別するか、最高の条件分散(ボトムアップ法)でシンクノードを最大条件分散(ボトムアップ法)で再帰的に同定することにより、同じあるいは適切に制約された誤差分散を持つガウス線形構造方程式モデル(SEM)を復元する。
雑音分布の負の対数様条件下での線形予測の最小損失を条件付きリスクに置き換え、両方の手法を非ガウス雑音に拡張する。
既存の方法は最小二乗の特別な場合である。
これは2つの主要な結果をもたらす。
まず,非ガウス性のために設計された最小二乗法やLiNGAM法よりも精度良くSEMを復元する。
トップダウン法は有限微分エントロピーを持つ全てのノイズ密度に対して正しいが、ボトムアップ法は正則性条件を必要とし、例えば平均ゼロ指数あるいはコーシー雑音の下では失敗する。
シミュレーションは両方の結果を確認します。
関連論文リスト
- Stochastic Saddle Avoidance Beyond Unit Excitation and Smoothness: A Pathwise Lyapunov-Perron Framework [13.105625785987321]
ユニット(UE)はサドル回避の一般的な前提であるが、実際のノイズ構造を単純化する。
有限サム問題では、勾配ノイズは低次元のデータ依存部分空間に存在することがある。
UEを使わずに再帰の回避定理をほぼ確実に証明する。
論文 参考訳(メタデータ) (2026-08-04T01:34:36Z) - Nonparametric Deconvolution and Denoising using Simulation Based Inference [3.6640504352010885]
我々は,観測されたデータ分布と雑音を伴うモデル分布とをマッチングすることにより,潜在生成モデルを学習する。
本手法は, 生成潜在分布モデルの下でのデコンボリューションに対する実用的, 理論的に基礎的なアプローチを提供する。
論文 参考訳(メタデータ) (2026-06-20T07:03:37Z) - Information Hidden in Gradients of Regression with Target Noise [2.8911861322232686]
勾配だけでヘッセンが明らかになることを示す。
我々はガウス以下の入力の下で非漸近作用素ノルム保証を提供する。
論文 参考訳(メタデータ) (2026-01-26T14:50:16Z) - Optimal High-probability Convergence of Nonlinear SGD under Heavy-tailed Noise via Symmetrization [50.49466204159458]
雑音対称性に基づく2つの新しい推定器を提案する。
よりシャープな分析と改善されたレートを提供します。
モーメントと対称雑音を仮定する作業と比較して、よりシャープな解析と改善率を提供する。
論文 参考訳(メタデータ) (2025-07-12T00:31:13Z) - A Simple Analysis of Discretization Error in Diffusion Models [3.6042771517920724]
拡散モデルは微分方程式(SDE)の離散化として定式化され、最先端の生成性能を達成する。
本稿では、分散保存SDEの保存丸山離散化を簡易に解析するための理論的枠組みを提案する。
我々の研究は拡散に基づく生成モデルにおける理論的厳密さと実用的効率を橋渡しする。
論文 参考訳(メタデータ) (2025-06-10T01:46:42Z) - Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。
我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。
我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
論文 参考訳(メタデータ) (2024-10-21T22:40:42Z) - On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。
RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。
本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
論文 参考訳(メタデータ) (2024-10-19T02:36:11Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Detecting Label Noise via Leave-One-Out Cross Validation [0.0]
クリーンなサンプルと破損したサンプルの混合から実値のノイズラベルを同定し,修正するための簡単なアルゴリズムを提案する。
独立分散を伴う付加的なガウス雑音項をそれぞれと観測されたラベルに関連付けるヘテロ代用ノイズモデルを用いる。
提案手法は, 合成および実世界の科学データを用いた学習において, 劣化したサンプルを特定でき, より良い回帰モデルが得られることを示す。
論文 参考訳(メタデータ) (2021-03-21T10:02:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。