論文の概要: Lossless Transformations and Excess Risk Bounds in Statistical Inference
- arxiv url: http://arxiv.org/abs/2307.16735v1
- Date: Mon, 31 Jul 2023 14:55:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 13:51:32.008255
- Title: Lossless Transformations and Excess Risk Bounds in Statistical Inference
- Title(参考訳): 統計的推論におけるロスレス変換と過剰リスク境界
- Authors: L\'aszl\'o Gy\"orfi, Tam\'as Linder, Harro Walk
- Abstract要約: 本研究では,観測された特徴ベクトルから確率変数を推定する最小期待損失と,特徴ベクトルの変換(統計)から同じ確率変数を推定する最小期待損失との差として,統計的推論における過大な最小リスクについて検討する。
- 参考スコア(独自算出の注目度): 0.3007949058551534
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study the excess minimum risk in statistical inference, defined as the
difference between the minimum expected loss in estimating a random variable
from an observed feature vector and the minimum expected loss in estimating the
same random variable from a transformation (statistic) of the feature vector.
After characterizing lossless transformations, i.e., transformations for which
the excess risk is zero for all loss functions, we construct a partitioning
test statistic for the hypothesis that a given transformation is lossless and
show that for i.i.d. data the test is strongly consistent. More generally, we
develop information-theoretic upper bounds on the excess risk that uniformly
hold over fairly general classes of loss functions. Based on these bounds, we
introduce the notion of a delta-lossless transformation and give sufficient
conditions for a given transformation to be universally delta-lossless.
Applications to classification, nonparametric regression, portfolio strategies,
information bottleneck, and deep learning, are also surveyed.
- Abstract(参考訳): 本研究では,観測された特徴ベクトルから確率変数を推定する最小期待損失と,特徴ベクトルの変換(統計)から同じ確率変数を推定する最小期待損失との差として,統計的推論における過大な最小リスクについて検討する。
損失のない変換、すなわち全ての損失関数に対して余剰リスクがゼロとなる変換を特徴づけた後、与えられた変換が損失のないという仮説に対して分割テスト統計を構築し、すなわちデータに対してテストが強く一貫したことを示す。
より一般的には、損失関数の比較的一般的なクラスを均一に保持する余剰リスクに関する情報理論上界を開発する。
これらの境界に基づいて、デルタロスレス変換の概念を導入し、与えられた変換が普遍的にデルタロスレスであるのに十分な条件を与える。
また,分類,非パラメトリック回帰,ポートフォリオ戦略,情報ボトルネック,ディープラーニングへの応用についても検討した。
関連論文リスト
- High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile [0.0]
線形回帰に対する尾根推定器の予測リスクを分散プロファイルを用いて検討した。
ある種の分散プロファイルについては、よく知られた二重降下現象の出現に注目した。
また、独立分散データと同一分散データの標準設定で存在する類似点と相違点についても検討する。
論文 参考訳(メタデータ) (2024-03-29T14:24:49Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy
Optimization [63.32053223422317]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
特に、MDP上の分布によって誘導される値の分散を特徴付けることに焦点をあてる。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
論文 参考訳(メタデータ) (2023-12-07T15:55:58Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳(メタデータ) (2023-09-28T13:04:11Z) - GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples
using Gradients and Invariance Transformations [77.34726150561087]
本稿では,ディープニューラルネットワークにおける一般化誤差検出のための総合的アプローチを提案する。
GITは勾配情報と不変変換の利用を組み合わせる。
本実験は,各種ネットワークアーキテクチャの最先端技術と比較して,GITの優れた性能を示すものである。
論文 参考訳(メタデータ) (2023-07-05T22:04:38Z) - Prediction Risk and Estimation Risk of the Ridgeless Least Squares
Estimator under General Assumptions on Regression Errors [12.827023170889811]
より一般的な回帰誤差仮定の下で予測リスクと推定リスクについて検討する。
サンプルサイズに対して重要でないパラメータを多数含むことで、両方のリスクを効果的に軽減できることがわかった。
論文 参考訳(メタデータ) (2023-05-22T10:04:20Z) - Vector-Valued Least-Squares Regression under Output Regularity
Assumptions [73.99064151691597]
最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。
提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
論文 参考訳(メタデータ) (2022-11-16T15:07:00Z) - Loss Minimization through the Lens of Outcome Indistinguishability [11.709566373491619]
我々は凸損失と最近のOmnipredictionの概念について新しい視点を提示する。
設計上、Los OIは直感的かつ直感的に全滅を意味する。
一般化モデルから生じる損失の重要な集合に対する損失 OI は、完全な多重校正を必要としないことを示す。
論文 参考訳(メタデータ) (2022-10-16T22:25:27Z) - Bias-Variance Decompositions for Margin Losses [3.574241508860471]
厳格な凸マージン損失に対して、予測されるリスクは「中央」モデルのリスクに分解されることを示す。
これらの分解は、モデルオーバーフィット/アンダーフィットを理解するための診断ツールを提供する。
論文 参考訳(メタデータ) (2022-04-26T08:45:43Z) - Invariance Principle Meets Information Bottleneck for
Out-of-Distribution Generalization [77.24152933825238]
線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。
不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
論文 参考訳(メタデータ) (2021-06-11T20:42:27Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳(メタデータ) (2021-06-03T09:50:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。