論文の概要: Distributional bias compromises leave-one-out cross-validation
- arxiv url: http://arxiv.org/abs/2406.01652v1
- Date: Mon, 3 Jun 2024 15:47:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 21:21:41.824522
- Title: Distributional bias compromises leave-one-out cross-validation
- Title（参考訳）: 分散バイアスが一対一のクロスバリデーションを妥協
- Authors: George I. Austin, Itsik Pe'er, Tal Korem,
- Abstract要約: クロスバリデーションは機械学習モデルの予測性能を推定する一般的な手法である。
そこで本研究では,"leave-out-out cross-validation" という手法によって,各トレーニングフォールドの平均ラベルと対応するテストインスタンスのラベルとの間に負の相関が生じることを示す。
分布バイアスを補正する一般化可能な再均衡型クロスバリデーション手法を提案する。
- 参考スコア（独自算出の注目度）: 0.6656737591902598
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Cross-validation is a common method for estimating the predictive performance of machine learning models. In a data-scarce regime, where one typically wishes to maximize the number of instances used for training the model, an approach called "leave-one-out cross-validation" is often used. In this design, a separate model is built for predicting each data instance after training on all other instances. Since this results in a single test data point available per model trained, predictions are aggregated across the entire dataset to calculate common rank-based performance metrics such as the area under the receiver operating characteristic or precision-recall curves. In this work, we demonstrate that this approach creates a negative correlation between the average label of each training fold and the label of its corresponding test instance, a phenomenon that we term distributional bias. As machine learning models tend to regress to the mean of their training data, this distributional bias tends to negatively impact performance evaluation and hyperparameter optimization. We show that this effect generalizes to leave-P-out cross-validation and persists across a wide range of modeling and evaluation approaches, and that it can lead to a bias against stronger regularization. To address this, we propose a generalizable rebalanced cross-validation approach that corrects for distributional bias. We demonstrate that our approach improves cross-validation performance evaluation in synthetic simulations and in several published leave-one-out analyses.
- Abstract（参考訳）: クロスバリデーションは機械学習モデルの予測性能を推定する一般的な手法である。
モデルトレーニングに使用されるインスタンス数を最大化したいというデータスカース方式では、"leave-one-out cross-validation"と呼ばれるアプローチがよく使われる。
この設計では、他のすべてのインスタンスでトレーニングした後、各データインスタンスを予測するために、別のモデルを構築します。
これにより、トレーニングされたモデル毎に単一のテストデータポイントが利用可能になるため、予測はデータセット全体にわたって集約され、レシーバの操作特性や精度のリコール曲線の下の領域のような一般的なランクベースのパフォーマンスメトリクスが計算される。
本研究では,本手法が,各トレーニングフォールドの平均ラベルと対応するテストインスタンスのラベルとの間に負の相関関係を生じさせることを示す。
機械学習モデルがトレーニングデータの平均に回帰する傾向にあるため、この分布バイアスは性能評価やハイパーパラメータ最適化に悪影響を及ぼす傾向にある。
この効果は, モデルおよび評価アプローチの幅広い範囲にわたって継続し, より強い正則化に対するバイアスをもたらす可能性があることを示す。
これを解決するために、分布バイアスを補正する一般化可能な再均衡型クロスバリデーション手法を提案する。
提案手法は, 合成シミュレーションにおけるクロスバリデーション性能の評価を改良し, 複数論文の残響解析において改善することを示した。
関連論文リスト
- Semi-supervised Learning For Robust Speech Evaluation [30.593420641501968]
音声評価は、自動モデルを用いて学習者の口頭習熟度を測定する。
本稿では,半教師付き事前学習と客観的正規化を活用することで,このような課題に対処することを提案する。
アンカーモデルは、発音の正しさを予測するために擬似ラベルを用いて訓練される。
論文 参考訳（メタデータ） (2024-09-23T02:11:24Z) - Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳（メタデータ） (2023-11-10T08:50:28Z) - Bootstrapping the Cross-Validation Estimate [3.5159221757909656]
クロスバリデーションは予測モデルの性能を評価するために広く用いられている手法である。
見積もりに関連する不確実性を正確に定量化することが不可欠である。
本稿では,クロスバリデーション推定の標準誤差を迅速に推定する高速ブートストラップ法を提案する。
論文 参考訳（メタデータ） (2023-07-01T07:50:54Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳（メタデータ） (2023-06-03T20:12:27Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - A Statistical Model for Predicting Generalization in Few-Shot
Classification [6.158812834002346]
一般化誤差を予測するために,特徴分布のガウスモデルを導入する。
提案手法は, 相互検証戦略の離脱など, 代替案よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-12-13T10:21:15Z) - Don't Discard All the Biased Instances: Investigating a Core Assumption
in Dataset Bias Mitigation Techniques [19.252319300590656]
データセットバイアスを緩和する既存のテクニックは、バイアス付きモデルを利用してバイアス付きインスタンスを識別することが多い。
これらの偏りのあるインスタンスの役割は、メインモデルのトレーニング中に減少し、アウト・オブ・ディストリビューションデータに対するロバスト性を高める。
本稿では,この仮定が一般には成り立たないことを示す。
論文 参考訳（メタデータ） (2021-09-01T10:25:46Z) - Cross-validation: what does it estimate and how well does it do it? [2.049702429898688]
クロスバリデーションは予測誤差を推定するために広く使われている手法であるが、その振る舞いは複雑であり、完全には理解されていない。
これは、通常の最小二乗に適合する線形モデルの場合ではなく、同じ集団から引き出された他の目に見えない訓練セットに適合するモデルの平均予測誤差を推定するものである。
論文 参考訳（メタデータ） (2021-04-01T17:58:54Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Rethinking Class-Balanced Methods for Long-Tailed Visual Recognition
from a Domain Adaptation Perspective [98.70226503904402]
現実世界のオブジェクトの周波数は、しばしば電力法則に従い、長い尾のクラス分布を持つデータセット間のミスマッチを引き起こす。
メタラーニング手法を用いて,クラス条件分布の違いを明示的に推定し,古典的なクラスバランス学習を強化することを提案する。
論文 参考訳（メタデータ） (2020-03-24T11:28:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。