Fugu-MT 論文翻訳(概要): Diagnostic Tool for Out-of-Sample Model Evaluation

論文の概要: Diagnostic Tool for Out-of-Sample Model Evaluation

arxiv url: http://arxiv.org/abs/2206.10982v3
Date: Mon, 16 Oct 2023 14:22:38 GMT
ステータス: 処理完了
システム内更新日: 2023-10-18 07:11:53.030441
Title: Diagnostic Tool for Out-of-Sample Model Evaluation
Title（参考訳）: サンプル外モデル評価のための診断ツール
Authors: Ludvig Hult, Dave Zachariah and Petre Stoica
Abstract要約: モデルの将来, サンプル外損失を特徴付けるための有限キャリブレーションデータセットについて検討する。弱い仮定の下で有限サンプル保証を提供するシンプルなモデル診断ツールを提案する。
参考スコア（独自算出の注目度）: 12.44615656370048
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Assessment of model fitness is a key part of machine learning. The standard paradigm is to learn models by minimizing a chosen loss function averaged over training data, with the aim of achieving small losses on future data. In this paper, we consider the use of a finite calibration data set to characterize the future, out-of-sample losses of a model. We propose a simple model diagnostic tool that provides finite-sample guarantees under weak assumptions. The tool is simple to compute and to interpret. Several numerical experiments are presented to show how the proposed method quantifies the impact of distribution shifts, aids the analysis of regression, and enables model selection as well as hyper-parameter tuning.
Abstract（参考訳）: モデル適合性の評価は機械学習の重要な部分である。標準的なパラダイムは、トレーニングデータ上で平均される選択された損失関数を最小化し、将来のデータに対する小さな損失を達成することによって、モデルを学ぶことである。本稿では,モデルの将来的損失を特徴付けるための有限キャリブレーションデータセットの利用について検討する。弱仮定下で有限サンプル保証を提供する簡易なモデル診断ツールを提案する。このツールは計算と解釈が簡単です。提案手法が分布シフトの影響を定量化し,回帰分析を補助し,ハイパーパラメータチューニングと同様にモデル選択を可能にすることを示す数値実験を行った。

関連論文リスト

Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
論文参考訳（メタデータ） (2024-09-10T07:34:19Z)
Explainability of Machine Learning Models under Missing Data [2.880748930766428]
データ不足は、モデルの性能と解釈可能性を著しく損なうおそれのある問題である。本稿では, 欠落データ分野の展開を要約し, 種々の計算法がシェープリー値の計算に与える影響について考察する。
論文参考訳（メタデータ） (2024-06-29T11:31:09Z)
Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models [36.05242956018461]
本稿では,影響関数と外乱勾配検出による有害トレーニングサンプルの同定とを橋渡しする。まず, 合成データセットにおける外乱勾配解析手法の仮説を検証した。次に、視覚モデルにおける誤ラベルサンプルの検出と、自然言語処理トランスフォーマーモデルの性能向上のためのデータサンプル選択の有効性を示す。
論文参考訳（メタデータ） (2024-05-06T21:34:46Z)
Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文参考訳（メタデータ） (2023-10-10T10:48:52Z)
Sampling To Improve Predictions For Underrepresented Observations In Imbalanced Data [0.0]
データ不均衡は、表現不足な観測におけるモデルの予測性能に悪影響を及ぼす。本研究では,過去の生産データに基づいてトレーニングされたモデルの性能向上を目標として,この不均衡に対応するためのサンプリングを提案する。我々はペニシリン生産の先進的なシミュレーションから得られたバイオ医薬品製造データセットに本手法を適用した。
論文参考訳（メタデータ） (2021-11-17T12:16:54Z)
Predictive machine learning for prescriptive applications: a coupled training-validating approach [77.34726150561087]
規範的応用のための予測機械学習モデルをトレーニングするための新しい手法を提案する。このアプローチは、標準的なトレーニング検証テストスキームの検証ステップを微調整することに基づいている。合成データを用いたいくつかの実験は、決定論的モデルと実モデルの両方において処方料コストを削減できる有望な結果を示した。
論文参考訳（メタデータ） (2021-10-22T15:03:20Z)
ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文参考訳（メタデータ） (2021-04-11T12:14:04Z)
How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文参考訳（メタデータ） (2021-02-17T18:25:30Z)
Sufficiently Accurate Model Learning for Planning [119.80502738709937]
本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
論文参考訳（メタデータ） (2021-02-11T16:27:31Z)
On Statistical Efficiency in Learning [37.08000833961712]
モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
論文参考訳（メタデータ） (2020-12-24T16:08:29Z)
A Semiparametric Approach to Interpretable Machine Learning [9.87381939016363]
機械学習におけるブラックボックスモデルは、複雑な問題と高次元設定において優れた予測性能を示した。透明性と解釈可能性の欠如は、重要な意思決定プロセスにおけるそのようなモデルの適用性を制限します。半パラメトリック統計学のアイデアを用いて予測モデルにおける解釈可能性と性能のトレードオフを行う新しい手法を提案する。
論文参考訳（メタデータ） (2020-06-08T16:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。