論文の概要: Why Machine Learning Models Systematically Underestimate Extreme Values II: How to Fix It with LatentNN

• arxiv url: http://arxiv.org/abs/2512.23138v1
• Date: Mon, 29 Dec 2025 01:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.374535
• Title: Why Machine Learning Models Systematically Underestimate Extreme Values II: How to Fix It with LatentNN
• Title（参考訳）: なぜ機械学習モデルがシステム的に過小評価されるのか II: LatentNNでそれをどのように修正するか
• Authors: Yuan-Sen Ting,
• Abstract要約: 減衰バイアスは、天文学的なデータ駆動モデルに影響を与える。 ニューラルネットワークは同じ減衰バイアスに悩まされていることを示す。 ネットワークパラメータと潜時入力値を協調的に最適化するLatentNNを提案する。
• 参考スコア（独自算出の注目度）: 0.2700171473617699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attenuation bias -- the systematic underestimation of regression coefficients due to measurement errors in input variables -- affects astronomical data-driven models. For linear regression, this problem was solved by treating the true input values as latent variables to be estimated alongside model parameters. In this paper, we show that neural networks suffer from the same attenuation bias and that the latent variable solution generalizes directly to neural networks. We introduce LatentNN, a method that jointly optimizes network parameters and latent input values by maximizing the joint likelihood of observing both inputs and outputs. We demonstrate the correction on one-dimensional regression, multivariate inputs with correlated features, and stellar spectroscopy applications. LatentNN reduces attenuation bias across a range of signal-to-noise ratios where standard neural networks show large bias. This provides a framework for improved neural network inference in the low signal-to-noise regime characteristic of astronomical data. This bias correction is most effective when measurement errors are less than roughly half the intrinsic data range; in the regime of very low signal-to-noise and few informative features. Code is available at https://github.com/tingyuansen/LatentNN.
• Abstract（参考訳）: 減衰バイアス - 入力変数の測定誤差による回帰係数の体系的過小評価 - は、天文学的なデータ駆動モデルに影響を与える。 線形回帰では、モデルパラメータとともに推定される潜在変数として真の入力値を扱い、この問題を解決した。 本稿では、ニューラルネットワークが同じ減衰バイアスに悩まされ、潜在変数解がニューラルネットワークに直接一般化することを示す。 入力と出力の両方を観測する結合確率を最大化することにより、ネットワークパラメータと潜時入力値を協調的に最適化する手法であるLatentNNを導入する。 本研究では, 1次元回帰, 多変量入力における相関特性の補正, 恒星分光法の適用について述べる。 LatentNNは、標準的なニューラルネットワークが大きなバイアスを示す様々な信号対雑音比の減衰バイアスを削減する。 これは、天文学的なデータの特徴である低信号対雑音状態におけるニューラルネットワーク推論を改善するためのフレームワークを提供する。 このバイアス補正は、測定誤差が本質的なデータ範囲のおよそ半分未満である場合に最も効果的である。 コードはhttps://github.com/tingyuansen/LatentNN.comで入手できる。

関連論文リスト

• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Sparsifying Bayesian neural networks with latent binary variables and normalizing flows [10.865434331546126]
  潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。 まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。 さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
  論文  参考訳（メタデータ） (2023-05-05T09:40:28Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Parameter estimation for WMTI-Watson model of white matter using encoder-decoder recurrent neural network [0.0]
  本研究では,ラットおよびヒト脳のデータセット上でのNLLS,RNN法および多層パーセプトロン(MLP)の性能を評価する。 提案手法は,NLLSよりも計算時間を大幅に短縮できるという利点を示した。
  論文  参考訳（メタデータ） (2022-03-01T16:33:15Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• System Identification Through Lipschitz Regularized Deep Neural Networks [0.4297070083645048]
  ニューラルネットワークを使って、データから支配方程式を学習します。 我々は、観測されたタイムスタンプデータから直接、ODEs $dotx(t) = f(t, x(t))$の右辺を再構築する。
  論文  参考訳（メタデータ） (2020-09-07T17:52:51Z)
• Measurement error models: from nonparametric methods to deep neural networks [3.1798318618973362]
  本稿では,測定誤差モデルの推定に有効なニューラルネットワーク設計を提案する。 完全に接続されたフィードフォワードニューラルネットワークを用いて回帰関数を$f(x)$に近似する。 我々は、ニューラルネットワークアプローチと古典的ノンパラメトリック手法を比較するために、広範囲にわたる数値的研究を行っている。
  論文  参考訳（メタデータ） (2020-07-15T06:05:37Z)
• On Error Correction Neural Networks for Economic Forecasting [0.0]
  Error Correction Neural Networks (ECNN)と呼ばれるRNNのクラスは、入力変数の不足を補うために設計された。 これは、前のステップで犯したエラーを現在のステップにフィードバックすることで実現します。 ECNNは適切な勾配の計算によってPythonで実装され、株式市場の予測に基づいてテストされる。
  論文  参考訳（メタデータ） (2020-04-11T01:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。