論文の概要: Pointwise confidence estimation in the non-linear $\ell^2$-regularized least squares

• arxiv url: http://arxiv.org/abs/2506.07088v2
• Date: Tue, 10 Jun 2025 18:59:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 23:41:16.724162
• Title: Pointwise confidence estimation in the non-linear $\ell^2$-regularized least squares
• Title（参考訳）: 非線型$\ell^2$-正則化最小二乗の点的信頼度推定
• Authors: Ilja Kuzborskij, Yasin Abbasi Yadkori,
• Abstract要約: 固定設計による $ell2$-regularized 非線形最小二乗集合の高確率非漸近信頼度推定について検討する。 つまり、任意の固定テスト入力に対して$x$の予測を保持することを意味する。
• 参考スコア（独自算出の注目度）: 12.352761060862072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider a high-probability non-asymptotic confidence estimation in the $\ell^2$-regularized non-linear least-squares setting with fixed design. In particular, we study confidence estimation for local minimizers of the regularized training loss. We show a pointwise confidence bound, meaning that it holds for the prediction on any given fixed test input $x$. Importantly, the proposed confidence bound scales with similarity of the test input to the training data in the implicit feature space of the predictor (for instance, becoming very large when the test input lies far outside of the training data). This desirable last feature is captured by the weighted norm involving the inverse-Hessian matrix of the objective function, which is a generalized version of its counterpart in the linear setting, $x^{\top} \text{Cov}^{-1} x$. Our generalized result can be regarded as a non-asymptotic counterpart of the classical confidence interval based on asymptotic normality of the MLE estimator. We propose an efficient method for computing the weighted norm, which only mildly exceeds the cost of a gradient computation of the loss function. Finally, we complement our analysis with empirical evidence showing that the proposed confidence bound provides better coverage/width trade-off compared to a confidence estimation by bootstrapping, which is a gold-standard method in many applications involving non-linear predictors such as neural networks.
• Abstract（参考訳）: 固定設計による $\ell^2$-regularized 非線形最小二乗集合における高確率非漸近的信頼度推定について検討する。 特に,正規化訓練損失の局所最小化のための信頼度推定について検討した。 つまり、任意の固定テスト入力に対して$x$の予測を保持することを意味する。 重要なことは、提案された信頼境界は、予測器の暗黙的特徴空間において、テスト入力とトレーニングデータとの類似性(例えば、テスト入力がトレーニングデータより遥かに離れたときに非常に大きくなる)でスケールする。 この望ましい最後の特徴は、対象関数の逆ヘッセン行列を含む重み付きノルムによって捉えられ、これは線型設定においてその逆の一般化版である$x^{\top} \text{Cov}^{-1} x$である。 我々の一般化された結果は、MLE推定器の漸近正規性に基づいて古典的信頼区間の漸近的でないものとみなすことができる。 本稿では、損失関数の勾配計算のコストをわずかに上回るだけの重み付きノルムの効率的な計算法を提案する。 最後に、我々は、ニューラルネットワークのような非線形予測器を含む多くのアプリケーションにおいて、ブートストラップによる信頼度推定よりも、提案された信頼境界が、より優れたカバレッジ/幅トレードオフを提供することを示す実証的な証拠を用いて分析を補完する。

関連論文リスト

• Non-Asymptotic Uncertainty Quantification in High-Dimensional Learning [5.318766629972959]
  不確かさの定量化は多くの高次元回帰や学習問題において決定的だが難しい課題である。 我々は、古典的回帰アプローチとニューラルネットワークの両方に適用可能な、回帰におけるUQのための新しいデータ駆動アプローチを開発した。
  論文  参考訳（メタデータ） (2024-07-18T16:42:10Z)
• Finite Sample Confidence Regions for Linear Regression Parameters Using Arbitrary Predictors [1.6860963320038902]
  線形モデルのパラメータに対する信頼領域を構築するための新しい手法を任意の予測器からの予測を用いて検討する。 導出された信頼領域は、混合線形プログラミングフレームワーク内の制約としてキャストすることができ、線形目的の最適化を可能にする。 従来の手法とは異なり、信頼領域は空であり、仮説テストに使用できる。
  論文  参考訳（メタデータ） (2024-01-27T00:15:48Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Confidence Sets under Generalized Self-Concordance [2.0305676256390934]
  本稿では,非漸近的理論の観点から,統計学の基本的問題を再考する。 非漸近的な方法でその挙動を特徴づける推定器の指数的バウンドを確立する。 その依存性の重要な痕跡は、有効次元によって捉えられる。
  論文  参考訳（メタデータ） (2022-12-31T17:45:11Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• CoinDICE: Off-Policy Confidence Interval Estimation [107.86876722777535]
  強化学習における高信頼行動非依存のオフ政治評価について検討する。 様々なベンチマークにおいて、信頼区間推定が既存の手法よりも厳密で精度が高いことが示されている。
  論文  参考訳（メタデータ） (2020-10-22T12:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。