論文の概要: Sample Efficient Model Evaluation
- arxiv url: http://arxiv.org/abs/2109.12043v1
- Date: Fri, 24 Sep 2021 16:03:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-27 18:32:31.785098
- Title: Sample Efficient Model Evaluation
- Title(参考訳): モデル評価の効率化
- Authors: Emine Yilmaz, Peter Hayes, Raza Habib, Jordan Burgess, David Barber
- Abstract要約: ラベルのないデータポイントの集合が与えられた場合、テストメトリクスをベストに見積もるためにどのサブセットを選択するかに対処する。
本稿では, よく知られたImportance Smplingというサンプリングベースアプローチと,Poisson Smplingの新たな応用を提案する。
- 参考スコア(独自算出の注目度): 30.72511219329606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Labelling data is a major practical bottleneck in training and testing
classifiers. Given a collection of unlabelled data points, we address how to
select which subset to label to best estimate test metrics such as accuracy,
$F_1$ score or micro/macro $F_1$. We consider two sampling based approaches,
namely the well-known Importance Sampling and we introduce a novel application
of Poisson Sampling. For both approaches we derive the minimal error sampling
distributions and how to approximate and use them to form estimators and
confidence intervals. We show that Poisson Sampling outperforms Importance
Sampling both theoretically and experimentally.
- Abstract(参考訳): データのラベリングは、トレーニングとテストの分類において、大きなボトルネックとなる。
ラベル付きデータポイントのコレクションが与えられた場合、精度、$F_1$スコア、micro/macro $F_1$といったテストメトリクスをベストに見積もるために、どのサブセットを選択するかに対処する。
本稿では, よく知られたImportance Smplingというサンプリングベースアプローチと,Poisson Smplingの新たな応用を提案する。
どちらの手法も最小限の誤差サンプリング分布を導出し、それらを近似して推定器と信頼区間を形成する。
ポアソンサンプリングは理論的および実験的にサンプリングの重要性を上回っている。
関連論文リスト
- Sample-Efficient Training for Diffusion [6.778168189732909]
多くの理論的な研究により、拡散モデルが効率よくサンプリングできることが示されており、$L2$-精度のスコア推定を仮定している。
多対数的なサンプル数を用いて、スコアマッチング対象のバウンダリは、真の分布の確率$delta$分数を除いて、すべてで$L2$精度であることを示す。
論文 参考訳(メタデータ) (2023-11-23T00:27:13Z) - On diffusion-based generative models and their error bounds: The
log-concave case with full convergence estimates [3.8447306272420816]
我々は,強い対数空間データ分布を仮定して,拡散に基づく生成モデルの収束挙動を理論的に保証する。
我々は、モチベーションの例を通して、未知の平均を持つガウス分布からサンプリングし、我々のアプローチの強力さを実証する。
この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
論文 参考訳(メタデータ) (2023-11-22T18:40:45Z) - Data Pruning via Moving-one-Sample-out [61.45441981346064]
我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。
MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。
実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
論文 参考訳(メタデータ) (2023-10-23T08:00:03Z) - Improved Active Learning via Dependent Leverage Score Sampling [9.177032088236125]
非依存的なサンプリング戦略とレバレッジスコアサンプリングを組み合わせることで、非依存的(逆方向雑音)設定における能動的学習法の改善方法を示す。
独立サンプリングと比較して,本手法は,所定の目標精度に到達するために必要なサンプル数を最大50%削減する。
論文 参考訳(メタデータ) (2023-10-08T01:51:30Z) - Detecting Adversarial Data by Probing Multiple Perturbations Using
Expected Perturbation Score [62.54911162109439]
逆方向検出は、自然分布と逆方向分布の差に基づいて、与えられたサンプルが逆方向であるかどうかを判定することを目的としている。
本研究では,様々な摂動後の標本の予測スコアであるEPS(pre expected perturbation score)を提案する。
EPSに基づく最大平均誤差(MMD)を,試験試料と自然試料との差を測定する指標として開発する。
論文 参考訳(メタデータ) (2023-05-25T13:14:58Z) - Label-Noise Learning with Intrinsically Long-Tailed Data [65.41318436799993]
本稿では,本質的な長期データを用いたラベルノイズ学習のための学習フレームワークを提案する。
具体的には, 2段階の2次元試料選択法(TABASCO)を提案する。
論文 参考訳(メタデータ) (2022-08-21T07:47:05Z) - POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution
Samples [19.311470287767385]
そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。
提案手法は, 実装が簡単で, 特徴抽出器に非依存であり, 事前学習に要する追加コストを伴わず軽量であり, インダクティブ設定とトランスダクティブ設定の両方に適用可能である。
論文 参考訳(メタデータ) (2022-06-08T18:59:21Z) - Boost Test-Time Performance with Closed-Loop Inference [85.43516360332646]
そこで本研究では,モデル性能を高めるために,ループ方式でハードクラス化試験サンプルを予測することを提案する。
まず、追加の推論ループを必要とするハードクラス化テストサンプルを識別するためにフィルタリング基準を考案する。
各ハードサンプルに対して、モデルのキャリブレーションを行うために、元の上位$K$予測に基づいて補助学習タスクを構築する。
論文 参考訳(メタデータ) (2022-03-21T10:20:21Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳(メタデータ) (2021-10-06T16:58:34Z) - Learning Entangled Single-Sample Distributions via Iterative Trimming [28.839136703139225]
そこで本研究では, 反復トリミング標本に基づいて, 簡便かつ効率的な手法を解析し, トリミング標本集合上のパラメータを再推定する。
対数反復法では, 誤差が$lceil alpha n rceil$-th ノイズ点の雑音レベルにのみ依存する推定値が出力されることを示す。
論文 参考訳(メタデータ) (2020-04-20T18:37:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。