論文の概要: Lossless Transformations and Excess Risk Bounds in Statistical Inference

• arxiv url: http://arxiv.org/abs/2307.16735v2
• Date: Wed, 27 Sep 2023 19:52:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 20:21:23.130120
• Title: Lossless Transformations and Excess Risk Bounds in Statistical Inference
• Title（参考訳）: 統計的推論におけるロスレス変換と過剰リスク境界
• Authors: L\'aszl\'o Gy\"orfi, Tam\'as Linder, Harro Walk
• Abstract要約: 本研究では,観測された特徴ベクトルから確率変数を推定する最小期待損失と,特徴ベクトルの変換(統計)から同じ確率変数を推定する最小期待損失との差として,統計的推論における過大な最小リスクについて検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study the excess minimum risk in statistical inference, defined as the difference between the minimum expected loss in estimating a random variable from an observed feature vector and the minimum expected loss in estimating the same random variable from a transformation (statistic) of the feature vector. After characterizing lossless transformations, i.e., transformations for which the excess risk is zero for all loss functions, we construct a partitioning test statistic for the hypothesis that a given transformation is lossless and show that for i.i.d. data the test is strongly consistent. More generally, we develop information-theoretic upper bounds on the excess risk that uniformly hold over fairly general classes of loss functions. Based on these bounds, we introduce the notion of a delta-lossless transformation and give sufficient conditions for a given transformation to be universally delta-lossless. Applications to classification, nonparametric regression, portfolio strategies, information bottleneck, and deep learning, are also surveyed.
• Abstract（参考訳）: 本研究では,観測された特徴ベクトルから確率変数を推定する最小期待損失と,特徴ベクトルの変換(統計)から同じ確率変数を推定する最小期待損失との差として,統計的推論における過大な最小リスクについて検討する。 損失のない変換、すなわち全ての損失関数に対して余剰リスクがゼロとなる変換を特徴づけた後、与えられた変換が損失のないという仮説に対して分割テスト統計を構築し、すなわちデータに対してテストが強く一貫したことを示す。 より一般的には、損失関数の比較的一般的なクラスを均一に保持する余剰リスクに関する情報理論上界を開発する。 これらの境界に基づいて、デルタロスレス変換の概念を導入し、与えられた変換が普遍的にデルタロスレスであるのに十分な条件を与える。 また,分類,非パラメトリック回帰,ポートフォリオ戦略,情報ボトルネック,ディープラーニングへの応用についても検討した。

関連論文リスト

• Transformation-Invariant Learning and Theoretical Guarantees for OOD Generalization [34.036655200677664]
  本稿では、(データ)変換マップのクラスによって、列車とテストの分布を関連付けることができる分散シフト設定に焦点を当てる。 経験的リスク最小化(ERM)に対する学習ルールとアルゴリズムの削減を確立する。 我々は,学習ルールが分配シフトに関するゲーム理論的な視点を提供する点を強調した。
  論文  参考訳（メタデータ） (2024-10-30T20:59:57Z)
• Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples using Gradients and Invariance Transformations [77.34726150561087]
  本稿では,ディープニューラルネットワークにおける一般化誤差検出のための総合的アプローチを提案する。 GITは勾配情報と不変変換の利用を組み合わせる。 本実験は,各種ネットワークアーキテクチャの最先端技術と比較して,GITの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2023-07-05T22:04:38Z)
• Prediction Risk and Estimation Risk of the Ridgeless Least Squares Estimator under General Assumptions on Regression Errors [10.857775300638831]
  より一般的な回帰誤差仮定の下で予測リスクと推定リスクについて検討する。 その結果,パラメータ化の利点は時系列,パネル,グループ化データにまで拡張できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T10:04:20Z)
• Vector-Valued Least-Squares Regression under Output Regularity Assumptions [73.99064151691597]
  最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。 提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
  論文  参考訳（メタデータ） (2022-11-16T15:07:00Z)
• Loss Minimization through the Lens of Outcome Indistinguishability [11.709566373491619]
  我々は凸損失と最近のOmnipredictionの概念について新しい視点を提示する。 設計上、Los OIは直感的かつ直感的に全滅を意味する。 一般化モデルから生じる損失の重要な集合に対する損失 OI は、完全な多重校正を必要としないことを示す。
  論文  参考訳（メタデータ） (2022-10-16T22:25:27Z)
• Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization [77.24152933825238]
  線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。 不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
  論文  参考訳（メタデータ） (2021-06-11T20:42:27Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。