論文の概要: Connecting Score Matching, Maximum Likelihood, and Expectation-Maximization in Mixed Linear Regression

• arxiv url: http://arxiv.org/abs/2609.05688v1
• Date: Fri, 04 Sep 2026 19:52:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.107781
• Title: Connecting Score Matching, Maximum Likelihood, and Expectation-Maximization in Mixed Linear Regression
• Title（参考訳）: 混合線形回帰におけるスコアマッチング、最大値、期待値の最大化
• Abstract要約: 混合線形回帰(MLR)における応答の分散保存拡散と未知の混合重みについて検討した。 本分析では,不規則な拡散雑音レベルにおける損失幾何と最適化信号から,スコアマッチングの統計的保証を分離する。
• 参考スコア（独自算出の注目度）: 11.223656960922478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study variance-preserving diffusion of the response in mixed linear regression (MLR) with unknown mixing weights. Our analysis separates the statistical guarantees of score matching from the loss geometry and optimization signal at a fixed diffusion noise level. The KL divergence links the denoising score matching objective integrated over the diffusion path with the likelihood and a terminal discrepancy. Under mild regularity conditions and terminal schedule, the resulting estimator converges up to the ground truth parameters of MLR, and its scaled error converges to the Gaussian limit of the maximum-likelihood estimator. At a fixed scale of the diffusion noise level, we derive a decomposition linking the score matching loss to cross-entropy and Expectation-Maximization (EM) operators. This decomposition yields an EM-related low-noise gradient expansion with additional correction terms of latent variance. In the high-noise limit, we further characterize gradient descent on this limiting loss under isotropic covariance. Along fixed high signal-to-noise ratio rays, the score matching imbalance gradient and the latent-variance term tend to zero pointwise. Numerical experiments illustrate our theoretical findings and statistical guarantees.
• Abstract（参考訳）: 混合線形回帰(MLR)における応答の分散保存拡散と未知の混合重みについて検討した。 本分析では,不規則な拡散雑音レベルにおける損失幾何と最適化信号から,スコアマッチングの統計的保証を分離する。 KLの発散は、拡散経路上で統合された復調スコアマッチング目的と、その可能性と終端不一致とをリンクする。 穏やかな規則性条件と終端スケジュールの下では、得られた推定子は MLR の基底真理パラメータに収束し、そのスケールされた誤差は最大形推定器のガウス極限に収束する。 拡散雑音レベルの一定スケールでは、スコアマッチング損失をクロスエントロピーと期待最大化(EM)演算子にリンクする分解を導出する。 この分解は、遅延分散の補正項を付加したEM関連低雑音勾配展開をもたらす。 高雑音域では、等方的共分散の下でのこの制限損失の勾配勾配がさらに特徴付けられる。 固定された高信号-雑音比線とともに、スコア整合の不均衡勾配と潜時差項は点方向0となる。 数値実験は、我々の理論的発見と統計的保証を例証する。

関連論文リスト

• Conditional Diffusion for Nonparametric Instrumental Variable Quantile Regression [18.254578337569264]
  本研究では,条件拡散モデルとカーネルパラメトリック条件モーメント定式化を組み合わせた2段階推定器を提案する。 提案した推定器の余剰リスク境界を確立し,条件付き拡散モデルに対するエンドツーエンドの総変動保証を導出する。 シミュレーション研究と実データ応用により,提案手法が既存の非パラメトリックIVQR手法より優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-08T16:01:24Z)
• Minimax Optimal Early-Stopped Gradient Descent for Gaussian Mixture Classification [8.717253904965371]
  トレーニングデータは、基礎となる分布がそうでない場合でも線形分離可能である。 早期停止はこの亜最適性を克服できることを示す。 新しい校正結果は、過剰なロジスティックリスクを過剰なゼロワンリスクに変換する。
  論文  参考訳（メタデータ） (2026-08-06T16:41:00Z)
• A Quantitative Approximation Framework for Flow Distillation in Diffusion Models [9.704954388992892]
  局所近似誤差は低雑音マルチモーダル状態において強く増幅することができる。 深部残留成分は, 長距離輸送を効率的に近似することを示した。 実験は、一様格子と比較して8セグメントで最大51.9%の予測とエンドツーエンドの相対MSI削減をサポートする。
  論文  参考訳（メタデータ） (2026-06-02T16:00:43Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Variance-Reduced Diffusion Sampling via Target Score Identity [0.0]
  クリーンな(ターゲット)スコアが利用可能か,あるいは近似可能な設定において,スコア推定と拡散に基づくサンプリングの分散化について検討した。 我々は、標準の逆時間解法と互換性のあるプラグアンドプレイ非パラメトリックな自己正規化重要度サンプリング推定器を開発した。 PDE-Governed Inverse問題と合成ターゲット実験により, 固定シミュレーション予算に対する試料品質の改善が示された。
  論文  参考訳（メタデータ） (2026-01-04T16:46:31Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Convergence and concentration properties of constant step-size SGD through Markov chains [0.0]
  定常段差勾配勾配(SGD)を用いた滑らかで強凸な目標の最適化について検討する。 緩やかに制御された分散を伴う不偏勾配推定に対して、反復は全変動距離の不変分布に収束することを示す。 全ての結果は無症状であり、その結果はいくつかのアプリケーションを通して議論されている。
  論文  参考訳（メタデータ） (2023-06-20T12:36:28Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。