論文の概要: Show Your Work with Confidence: Confidence Bands for Tuning Curves
- arxiv url: http://arxiv.org/abs/2311.09480v1
- Date: Thu, 16 Nov 2023 00:50:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 17:01:45.542814
- Title: Show Your Work with Confidence: Confidence Bands for Tuning Curves
- Title(参考訳): 自信を持って仕事を見せる - 曲線をチューニングするための信頼バンド
- Authors: Nicholas Lourie, Kyunghyun Cho, He He
- Abstract要約: そこで我々は,曲線のチューニングに有効な信頼帯域を構築するための最初の方法を提案する。
バンドは正確で、同時であり、分布のないため、メソッドを比較するための堅牢な基盤を提供する。
提案手法と比較し,提案手法の有効性を検証し,サンプルサイズの影響を解析し,モデルの比較に関するガイダンスを提供する。
- 参考スコア(独自算出の注目度): 57.45495445867908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The choice of hyperparameters greatly impacts performance in natural language
processing. Often, it is hard to tell if a method is better than another or
just better tuned. Tuning curves fix this ambiguity by accounting for tuning
effort. Specifically, they plot validation performance as a function of the
number of hyperparameter choices tried so far. While several estimators exist
for these curves, it is common to use point estimates, which we show fail
silently and give contradictory results when given too little data.
Beyond point estimates, confidence bands are necessary to rigorously
establish the relationship between different approaches. We present the first
method to construct valid confidence bands for tuning curves. The bands are
exact, simultaneous, and distribution-free, thus they provide a robust basis
for comparing methods.
Empirical analysis shows that while bootstrap confidence bands, which serve
as a baseline, fail to approximate their target confidence, ours achieve it
exactly. We validate our design with ablations, analyze the effect of sample
size, and provide guidance on comparing models with our method. To promote
confident comparisons in future work, we release a library implementing the
method at https://github.com/nalourie/opda .
- Abstract(参考訳): ハイパーパラメータの選択は自然言語処理の性能に大きな影響を及ぼす。
多くの場合、あるメソッドが他のメソッドより優れているか、単にチューニングが良いかを見分けるのは難しいです。
チューニング曲線は、チューニングの労力を考慮して、この曖昧さを修正する。
具体的には、これまでのハイパーパラメータの選択回数の関数として検証パフォーマンスをプロットしている。
これらの曲線にはいくつかの推定器が存在するが、点推定を用いるのが一般的であり、これは静かに失敗し、データが少ないと矛盾する結果を与える。
点推定を超えて、信頼バンドは異なるアプローチ間の関係を厳格に確立するために必要である。
本稿では,曲線のチューニングに有効な信頼バンドを構築するための最初の方法を提案する。
バンドは正確で、同時であり、分布のないため、メソッドを比較するための堅牢な基盤を提供する。
実験的な分析によると、ベースラインとして機能するブートストラップの信頼バンドは、ターゲットの信頼度を近似できないが、正確には達成できない。
実験では, アブレーションによる設計検証を行い, 試料サイズの影響を分析し, 本手法との比較指導を行った。
今後の作業における確実な比較を促進するため、https://github.com/nalourie/opda でメソッドを実装したライブラリをリリースする。
関連論文リスト
- Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳(メタデータ) (2023-10-09T11:44:50Z) - Sample and Predict Your Latent: Modality-free Sequential Disentanglement
via Contrastive Estimation [2.7759072740347017]
外部信号のないコントラスト推定に基づく自己教師付きシーケンシャル・アンタングルメント・フレームワークを提案する。
実際に,データのセマンティックに類似し,異種なビューに対して,統一的で効率的かつ容易にサンプリングできる手法を提案する。
提案手法は,既存の手法と比較して最先端の結果を示す。
論文 参考訳(メタデータ) (2023-05-25T10:50:30Z) - Birds of a Feather Trust Together: Knowing When to Trust a Classifier
via Adaptive Neighborhood Aggregation [30.34223543030105]
我々は、NeighborAggがアダプティブ近隣アグリゲーションを介して2つの重要な情報を利用する方法を示す。
また, 誤り検出の密接な関連課題へのアプローチを拡張し, 偽陰性境界に対する理論的カバレッジを保証する。
論文 参考訳(メタデータ) (2022-11-29T18:43:15Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Comparing Sequential Forecasters [35.38264087676121]
2つの予測器を考えてみましょう。それぞれが時間とともに一連のイベントを予測します。
オンラインでもポストホックでも、予測と結果がどのように生成されたかの検証不可能な仮定を避けながら、これらの予測をどのように比較すればよいのか?
予測スコアの時間差を推定するための新しい逐次推論手法を提案する。
実世界の野球と天気予報機を比較することで,我々のアプローチを実証的に検証する。
論文 参考訳(メタデータ) (2021-09-30T22:54:46Z) - DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。
近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。
提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
論文 参考訳(メタデータ) (2020-10-05T04:19:27Z) - Parametric Bootstrap for Differentially Private Confidence Intervals [8.781431682774484]
本研究では,個人差分パラメトリック推定のための信頼区間を構築するための実用的,汎用的なアプローチを開発する。
パラメトリックブートストラップは単純で効果的な解であることがわかった。
論文 参考訳(メタデータ) (2020-06-14T00:08:19Z) - Showing Your Work Doesn't Always Work [73.63200097493576]
『Show Your Work: Improved Reporting of Experimental Results』では、最高の学習モデルの有効性を報告している。
解析的にそれらの推定器は偏りがあり、エラーを起こしやすい仮定を用いていることを示す。
我々は、偏見のない代替案を導き、統計的シミュレーションから経験的な証拠で主張を裏付ける。
論文 参考訳(メタデータ) (2020-04-28T17:59:01Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z) - Binary Classification from Positive Data with Skewed Confidence [85.18941440826309]
肯定的信頼度(Pconf)分類は、有望な弱教師付き学習法である。
実際には、信頼はアノテーションプロセスで生じるバイアスによって歪められることがある。
本稿では、スキュード信頼度のパラメータ化モデルを導入し、ハイパーパラメータを選択する方法を提案する。
論文 参考訳(メタデータ) (2020-01-29T00:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。