論文の概要: Diagnostic Tool for Out-of-Sample Model Evaluation
- arxiv url: http://arxiv.org/abs/2206.10982v1
- Date: Wed, 22 Jun 2022 11:13:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-23 14:57:13.592886
- Title: Diagnostic Tool for Out-of-Sample Model Evaluation
- Title(参考訳): サンプル外モデル評価のための診断ツール
- Authors: Ludvig Hult, Dave Zachariah and Petre Stoica
- Abstract要約: このレターでは、モデルのサンプル外損失を特徴付けるテストデータセットの使用について検討する。
弱い仮定の下で有限サンプル保証を提供するシンプルなモデル診断ツールを提案する。
- 参考スコア(独自算出の注目度): 17.46329281993348
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Assessment of model fitness is an important step in many problems. Models are
typically fitted to training data by minimizing a loss function, such as the
squared-error or negative log-likelihood, and it is natural to desire low
losses on future data. This letter considers the use of a test data set to
characterize the out-of-sample losses of a model. We propose a simple model
diagnostic tool that provides finite-sample guarantees under weak assumptions.
The tool is computationally efficient and can be interpreted as an empirical
quantile. Several numerical experiments are presented to show how the proposed
method quantifies the impact of distribution shifts, aids the analysis of
regression, and enables model selection as well as hyper-parameter tuning.
- Abstract(参考訳): モデル適合性の評価は多くの問題において重要なステップである。
モデルは通常、正方形のエラーや負のログのような損失関数を最小化することでトレーニングデータに適合する。
このレターでは、モデルのサンプル外損失を特徴付けるテストデータセットの使用について検討する。
弱仮定下で有限サンプル保証を提供する簡易なモデル診断ツールを提案する。
このツールは計算効率が良く、経験的量子化として解釈できる。
提案手法が分布シフトの影響を定量化し,回帰分析を補助し,ハイパーパラメータチューニングと同様にモデル選択を可能にすることを示す数値実験を行った。
関連論文リスト
- Self-Supervised Dataset Distillation for Transfer Learning [82.09002658558529]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-10-10T10:48:52Z) - Empirical Analysis of Model Selection for Heterogeneous Causal Effect
Estimation [28.408998847597882]
因果推論におけるモデル選択の問題,特に2次的治療下での条件平均治療効果(CATE)推定について検討した。
機械学習におけるモデル選択とは異なり、あらゆるデータポイントに対する反実的ポテンシャルの結果が観察されないため、クロスバリデーションの完全な類似は存在しない。
論文 参考訳(メタデータ) (2022-11-03T16:26:06Z) - Data-Driven Sample Average Approximation with Covariate Information [0.0]
我々は、コパラメトリックの同時観測とともに、最適化モデル内の不確実なパラメータの観測を行う際に、データ駆動意思決定のための最適化について検討する。
本稿では,機械学習予測モデルをプログラムサンプル平均近似(SAA)に組み込んだ3つのデータ駆動フレームワークについて検討する。
論文 参考訳(メタデータ) (2022-07-27T14:45:04Z) - Sampling To Improve Predictions For Underrepresented Observations In
Imbalanced Data [0.0]
データ不均衡は、表現不足な観測におけるモデルの予測性能に悪影響を及ぼす。
本研究では,過去の生産データに基づいてトレーニングされたモデルの性能向上を目標として,この不均衡に対応するためのサンプリングを提案する。
我々はペニシリン生産の先進的なシミュレーションから得られたバイオ医薬品製造データセットに本手法を適用した。
論文 参考訳(メタデータ) (2021-11-17T12:16:54Z) - Predictive machine learning for prescriptive applications: a coupled
training-validating approach [77.34726150561087]
規範的応用のための予測機械学習モデルをトレーニングするための新しい手法を提案する。
このアプローチは、標準的なトレーニング検証テストスキームの検証ステップを微調整することに基づいている。
合成データを用いたいくつかの実験は、決定論的モデルと実モデルの両方において処方料コストを削減できる有望な結果を示した。
論文 参考訳(メタデータ) (2021-10-22T15:03:20Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳(メタデータ) (2021-02-17T18:25:30Z) - Sufficiently Accurate Model Learning for Planning [119.80502738709937]
本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。
これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。
近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
論文 参考訳(メタデータ) (2021-02-11T16:27:31Z) - On Statistical Efficiency in Learning [37.08000833961712]
モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。
モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。
実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
論文 参考訳(メタデータ) (2020-12-24T16:08:29Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - A Semiparametric Approach to Interpretable Machine Learning [9.87381939016363]
機械学習におけるブラックボックスモデルは、複雑な問題と高次元設定において優れた予測性能を示した。
透明性と解釈可能性の欠如は、重要な意思決定プロセスにおけるそのようなモデルの適用性を制限します。
半パラメトリック統計学のアイデアを用いて予測モデルにおける解釈可能性と性能のトレードオフを行う新しい手法を提案する。
論文 参考訳(メタデータ) (2020-06-08T16:38:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。