論文の概要: A Statistical Model for Predicting Generalization in Few-Shot Classification

• arxiv url: http://arxiv.org/abs/2212.06461v1
• Date: Tue, 13 Dec 2022 10:21:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 13:17:35.084535
• Title: A Statistical Model for Predicting Generalization in Few-Shot Classification
• Title（参考訳）: Few-Shot分類における一般化予測の統計的モデル
• Authors: Yassir Bendou, Vincent Gripon, Bastien Pasdeloup, Lukas Mauch, Stefan Uhlich, Fabien Cardinaux, Ghouthi Boukli Hacene, Javier Alonso Garcia
• Abstract要約: 一般化誤差を予測するために,特徴分布のガウスモデルを導入する。 提案手法は, 相互検証戦略の離脱など, 代替案よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 6.158812834002346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The estimation of the generalization error of classifiers often relies on a validation set. Such a set is hardly available in few-shot learning scenarios, a highly disregarded shortcoming in the field. In these scenarios, it is common to rely on features extracted from pre-trained neural networks combined with distance-based classifiers such as nearest class mean. In this work, we introduce a Gaussian model of the feature distribution. By estimating the parameters of this model, we are able to predict the generalization error on new classification tasks with few samples. We observe that accurate distance estimates between class-conditional densities are the key to accurate estimates of the generalization performance. Therefore, we propose an unbiased estimator for these distances and integrate it in our numerical analysis. We show that our approach outperforms alternatives such as the leave-one-out cross-validation strategy in few-shot settings.
• Abstract（参考訳）: 分類器の一般化誤差の推定は、しばしば検証セットに依存する。 このようなセットは、現場では非常に無視されている欠点である、数ショットの学習シナリオではほとんど利用できない。 これらのシナリオでは、事前学習されたニューラルネットワークから抽出された特徴と、最も近いクラス平均のような距離ベースの分類器を組み合わせることが一般的である。 本研究では,特徴分布のガウスモデルを提案する。 このモデルのパラメータを推定することにより、サンプルが少ない新しい分類タスクの一般化誤差を予測できる。 一般化性能の正確な推定には,クラス条件密度間の正確な距離推定が重要であることを確かめた。 そこで,これらの距離に対する偏りのない推定器を提案し,数値解析に組み込む。 提案手法は, 複数ショット設定で一括検証戦略などの代替手法より優れていることを示す。

関連論文リスト

• Semi-supervised Learning For Robust Speech Evaluation [30.593420641501968]
  音声評価は、自動モデルを用いて学習者の口頭習熟度を測定する。 本稿では,半教師付き事前学習と客観的正規化を活用することで,このような課題に対処することを提案する。 アンカーモデルは、発音の正しさを予測するために擬似ラベルを用いて訓練される。
  論文  参考訳（メタデータ） (2024-09-23T02:11:24Z)
• Distributional bias compromises leave-one-out cross-validation [0.6656737591902598]
  クロスバリデーションは機械学習モデルの予測性能を推定する一般的な手法である。 そこで本研究では,"leave-out-out cross-validation" という手法によって,各トレーニングフォールドの平均ラベルと対応するテストインスタンスのラベルとの間に負の相関が生じることを示す。 分布バイアスを補正する一般化可能な再均衡型クロスバリデーション手法を提案する。
  論文  参考訳（メタデータ） (2024-06-03T15:47:34Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Prediction Errors for Penalized Regressions based on Generalized Approximate Message Passing [0.0]
  C_p$ criterion, Information criteria, and leave-one-out Cross Validation (LOOCV) error。 GAMPの枠組みでは,推定値の分散を利用して情報基準を表現できることが示されている。
  論文  参考訳（メタデータ） (2022-06-26T09:42:39Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Cross-validation: what does it estimate and how well does it do it? [2.049702429898688]
  クロスバリデーションは予測誤差を推定するために広く使われている手法であるが、その振る舞いは複雑であり、完全には理解されていない。 これは、通常の最小二乗に適合する線形モデルの場合ではなく、同じ集団から引き出された他の目に見えない訓練セットに適合するモデルの平均予測誤差を推定するものである。
  論文  参考訳（メタデータ） (2021-04-01T17:58:54Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。