論文の概要: Distribution-free Deviation Bounds of Learning via Model Selection with
Cross-validation Risk Estimation
- arxiv url: http://arxiv.org/abs/2303.08777v1
- Date: Wed, 15 Mar 2023 17:18:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 12:54:07.247694
- Title: Distribution-free Deviation Bounds of Learning via Model Selection with
Cross-validation Risk Estimation
- Title（参考訳）: クロスバリデーションリスク推定を用いたモデル選択による学習の分布自由逸脱境界
- Authors: Diego Marcondes and Cl\'audia Peixoto
- Abstract要約: リスク推定とモデル選択のためのクロスバリデーション技術は、統計学や機械学習で広く利用されている。
本稿では,古典的統計的学習理論における一般的な体系的学習フレームワークとして,クロスバリデーションリスク推定を用いたモデル選択による学習を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-validation techniques for risk estimation and model selection are
widely used in statistics and machine learning. However, the understanding of
the theoretical properties of learning via model selection with
cross-validation risk estimation is quite low in face of its widespread use. In
this context, this paper presents learning via model selection with
cross-validation risk estimation as a general systematic learning framework
within classical statistical learning theory and establishes distribution-free
deviation bounds in terms of VC dimension, giving detailed proofs of the
results and considering both bounded and unbounded loss functions. We also
deduce conditions under which the deviation bounds of learning via model
selection are tighter than that of learning via empirical risk minimization in
the whole hypotheses space, supporting the better performance of model
selection frameworks observed empirically in some instances.
- Abstract（参考訳）: リスク推定とモデル選択のためのクロスバリデーション技術は、統計学や機械学習で広く利用されている。
しかし, クロスバリデーションリスク推定を用いたモデル選択による学習の理論的特性の理解は, 広く利用されている中では極めて低い。
本稿では,古典的統計学習理論における一般的な系統的学習枠組みとして,クロス評価リスク推定を用いたモデル選択による学習を行い,vc次元の観点から分布自由偏差境界を確立し,結果の詳細な証明を行い,有界損失関数と非有界損失関数の両方を考察する。
また,モデル選択による学習の逸脱限界が,仮説全体の経験的リスク最小化による学習よりも厳密な条件を推定し,いくつかの事例で経験的に観察されるモデル選択フレームワークの性能向上を支援する。
関連論文リスト
- In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
我々は,選択戦略,候補推定器,テストに用いるDGPとの間には複雑な相互作用があることを強調した。
論文 参考訳（メタデータ） (2023-02-06T16:55:37Z) - Transfer Learning with Uncertainty Quantification: Random Effect
Calibration of Source to Target (RECaST) [1.8047694351309207]
我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。
線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。
シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
論文 参考訳（メタデータ） (2022-11-29T19:39:47Z) - A Posterior Sampling Framework for Interactive Decision Making [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。
本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。
低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文 参考訳（メタデータ） (2022-11-03T16:42:40Z) - Learning from a Biased Sample [5.162622771922123]
本稿では,テスト分布のファミリーで発生する最悪のリスクを最小限に抑える決定ルールの学習方法を提案する。
我々は,盗難手法を用いてロバストなモデルを学習するための統計的保証を与え,損失関数がターゲットを捕捉する深層学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-05T04:19:16Z) - Causality and Generalizability: Identifiability and Learning Methods [0.0]
この論文は、因果効果の推定、因果構造学習、および分布的に堅牢な予測方法に関する研究領域に寄与する。
本稿では,データ依存平均二乗予測誤差正規化を用いた機器変数設定における線形・非線形因果関係推定器について述べる。
本稿では,介入誘起分布に関する分布ロバスト性に関する一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2021-10-04T13:12:11Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳（メタデータ） (2021-08-11T21:17:02Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2021-01-02T02:11:37Z) - On Statistical Efficiency in Learning [37.08000833961712]
モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。
モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。
実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
論文 参考訳（メタデータ） (2020-12-24T16:08:29Z) - Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。
重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。
教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
論文 参考訳（メタデータ） (2020-12-14T10:36:06Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。