Fugu-MT 論文翻訳(概要): Sample Efficient Model Evaluation

論文の概要: Sample Efficient Model Evaluation

arxiv url: http://arxiv.org/abs/2109.12043v1
Date: Fri, 24 Sep 2021 16:03:58 GMT
ステータス: 処理完了
システム内更新日: 2021-09-27 18:32:31.785098
Title: Sample Efficient Model Evaluation
Title（参考訳）: モデル評価の効率化
Authors: Emine Yilmaz, Peter Hayes, Raza Habib, Jordan Burgess, David Barber
Abstract要約: ラベルのないデータポイントの集合が与えられた場合、テストメトリクスをベストに見積もるためにどのサブセットを選択するかに対処する。本稿では, よく知られたImportance Smplingというサンプリングベースアプローチと,Poisson Smplingの新たな応用を提案する。
参考スコア（独自算出の注目度）: 30.72511219329606
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Labelling data is a major practical bottleneck in training and testing classifiers. Given a collection of unlabelled data points, we address how to select which subset to label to best estimate test metrics such as accuracy, $F_1$ score or micro/macro $F_1$. We consider two sampling based approaches, namely the well-known Importance Sampling and we introduce a novel application of Poisson Sampling. For both approaches we derive the minimal error sampling distributions and how to approximate and use them to form estimators and confidence intervals. We show that Poisson Sampling outperforms Importance Sampling both theoretically and experimentally.
Abstract（参考訳）: データのラベリングは、トレーニングとテストの分類において、大きなボトルネックとなる。ラベル付きデータポイントのコレクションが与えられた場合、精度、$F_1$スコア、micro/macro $F_1$といったテストメトリクスをベストに見積もるために、どのサブセットを選択するかに対処する。本稿では, よく知られたImportance Smplingというサンプリングベースアプローチと,Poisson Smplingの新たな応用を提案する。どちらの手法も最小限の誤差サンプリング分布を導出し、それらを近似して推定器と信頼区間を形成する。ポアソンサンプリングは理論的および実験的にサンプリングの重要性を上回っている。

関連論文リスト

Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文参考訳（メタデータ） (2024-07-20T01:34:13Z)
On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
論文参考訳（メタデータ） (2023-11-22T18:40:45Z)
Data Pruning via Moving-one-Sample-out [61.45441981346064]
我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。 MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
論文参考訳（メタデータ） (2023-10-23T08:00:03Z)
Improved Active Learning via Dependent Leverage Score Sampling [8.400581768343804]
本研究では,非依存的(逆方向雑音)環境下での能動学習手法の改善方法について述べる。エンフェボタルサンプリングアルゴリズムに基づく簡単な実装法を提案する。独立サンプリングと比較して,本手法は,所定の目標精度に到達するために必要なサンプル数を最大50%削減する。
論文参考訳（メタデータ） (2023-10-08T01:51:30Z)
Entropy-based Training Methods for Scalable Neural Implicit Sampler [15.978655106034113]
非正規化対象分布からの効率的なサンプリングは、科学計算と機械学習の基本的な問題である。本稿では,これらの制約を克服する,効率的でスケーラブルなニューラル暗黙サンプリング手法を提案する。提案手法では, 提案手法を応用して, 提案手法を用いることにより, 精度の低い大量のサンプルを生成できる。
論文参考訳（メタデータ） (2023-06-08T05:56:05Z)
Detecting Adversarial Data by Probing Multiple Perturbations Using Expected Perturbation Score [62.54911162109439]
逆方向検出は、自然分布と逆方向分布の差に基づいて、与えられたサンプルが逆方向であるかどうかを判定することを目的としている。本研究では,様々な摂動後の標本の予測スコアであるEPS(pre expected perturbation score)を提案する。 EPSに基づく最大平均誤差(MMD)を,試験試料と自然試料との差を測定する指標として開発する。
論文参考訳（メタデータ） (2023-05-25T13:14:58Z)
Label-Noise Learning with Intrinsically Long-Tailed Data [65.41318436799993]
本稿では,本質的な長期データを用いたラベルノイズ学習のための学習フレームワークを提案する。具体的には, 2段階の2次元試料選択法(TABASCO)を提案する。
論文参考訳（メタデータ） (2022-08-21T07:47:05Z)
POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution Samples [19.311470287767385]
そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。提案手法は, 実装が簡単で, 特徴抽出器に非依存であり, 事前学習に要する追加コストを伴わず軽量であり, インダクティブ設定とトランスダクティブ設定の両方に適用可能である。
論文参考訳（メタデータ） (2022-06-08T18:59:21Z)
Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文参考訳（メタデータ） (2021-10-20T12:25:22Z)
Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文参考訳（メタデータ） (2021-10-06T16:58:34Z)
Learning Entangled Single-Sample Distributions via Iterative Trimming [28.839136703139225]
そこで本研究では, 反復トリミング標本に基づいて, 簡便かつ効率的な手法を解析し, トリミング標本集合上のパラメータを再推定する。対数反復法では, 誤差が$lceil alpha n rceil$-th ノイズ点の雑音レベルにのみ依存する推定値が出力されることを示す。
論文参考訳（メタデータ） (2020-04-20T18:37:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。