論文の概要: Predicting Out-of-Distribution Error with the Projection Norm

• arxiv url: http://arxiv.org/abs/2202.05834v1
• Date: Fri, 11 Feb 2022 18:58:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-14 14:46:17.132759
• Title: Predicting Out-of-Distribution Error with the Projection Norm
• Title（参考訳）: 射影ノルムによる分布誤差の予測
• Authors: Yaodong Yu, Zitong Yang, Alexander Wei, Yi Ma, Jacob Steinhardt
• Abstract要約: 射影ノルムは、地上の真理ラベルにアクセスすることなく、分布外データ上でモデルのパフォーマンスを予測する。 対数例で非自明な検出性能を実現するには,プロジェクションノルムが唯一の方法であることがわかった。
• 参考スコア（独自算出の注目度）: 87.61489137914693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a metric -- Projection Norm -- to predict a model's performance on out-of-distribution (OOD) data without access to ground truth labels. Projection Norm first uses model predictions to pseudo-label test samples and then trains a new model on the pseudo-labels. The more the new model's parameters differ from an in-distribution model, the greater the predicted OOD error. Empirically, our approach outperforms existing methods on both image and text classification tasks and across different network architectures. Theoretically, we connect our approach to a bound on the test error for overparameterized linear models. Furthermore, we find that Projection Norm is the only approach that achieves non-trivial detection performance on adversarial examples. Our code is available at https://github.com/yaodongyu/ProjNorm.
• Abstract（参考訳）: 我々は,アウト・オブ・ディストリビューション(ood)データに対するモデルの性能を,基底的真理ラベルにアクセスせずに予測するためのメトリクス -- 投影ノルム -- を提案する。 Projection Normは、まず擬似ラベルテストサンプルにモデル予測を使用し、次に擬似ラベル上で新しいモデルをトレーニングする。 新しいモデルのパラメータが分布内モデルと異なるほど、予測されたOODエラーが大きくなる。 提案手法は,画像およびテキストの分類タスクおよび異なるネットワークアーキテクチャにおいて,既存の手法よりも優れる。 理論的には、オーバーパラメータ化線形モデルに対するテスト誤差のバウンドにアプローチを結合する。 さらに,非自明な検出性能を実現するアプローチは投影ノルムのみであることが判明した。 私たちのコードはhttps://github.com/yaodongyu/ProjNorm.comから入手可能です。

関連論文リスト

• Deep Limit Model-free Prediction in Regression [0.0]
  本稿では,DNN(Deep Neural Network)に基づくモデルフリーアプローチにより,一般的な回帰条件下での点予測と予測間隔を実現する。 提案手法は,特に最適点予測において,他のDNN法に比べて安定かつ正確である。
  論文  参考訳（メタデータ） (2024-08-18T16:37:53Z)
• Evaluating Model Bias Requires Characterizing its Mistakes [19.777130236160712]
  スキューサイズ(SkewSize)は、モデルの予測における誤りからバイアスを捉える、原則付きフレキシブルなメトリクスである。 マルチクラスの設定で使用したり、生成モデルのオープンな語彙設定に一般化することができる。 合成データで訓練された標準的な視覚モデル、ImageNetで訓練された視覚モデル、BLIP-2ファミリーの大規模視覚言語モデルなどである。
  論文  参考訳（メタデータ） (2024-07-15T11:46:21Z)
• MANO: Exploiting Matrix Norm for Unsupervised Accuracy Estimation Under Distribution Shifts [25.643876327918544]
  モデルのアウトプット、特にロジットを活用することは、トレーニング済みニューラルネットワークのテスト精度を、アウト・オブ・ディストリビューションのサンプルで推定する一般的なアプローチである。 実装の容易さと計算効率にもかかわらず、現在のロジットベースの手法は過信問題に弱いため、予測バイアスにつながる。 予測バイアスを低減するためにデータ依存正規化を適用したMaNoを提案し,正規化ロジットの行列の$L_p$ノルムを推定スコアとする。
  論文  参考訳（メタデータ） (2024-05-29T10:45:06Z)
• Out-of-Distribution Detection with a Single Unconditional Diffusion Model [54.15132801131365]
  アウト・オブ・ディストリビューション(OOD)検出は、異常サンプルを特定しようとする機械学習において重要なタスクである。 従来、教師なし手法はOOD検出に深い生成モデルを用いていた。 本稿では,単一モデルが多様なタスクに対してOOD検出を行うことができるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-05-20T08:54:03Z)
• A moment-matching metric for latent variable generative models [0.0]
  グッドハートの法則の範囲では、計量が対象となるとき、それは良い計量になるのをやめる。 モーメントに依存するモデル比較や正規化のための新しい指標を提案する。 潜時変動モデルを評価する際に, 適応分布からサンプルを抽出することが一般的である。
  論文  参考訳（メタデータ） (2021-10-04T17:51:08Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• BENN: Bias Estimation Using Deep Neural Network [37.70583323420925]
  本稿では,未学習の深層ニューラルネットワークを用いた新しいバイアス推定手法であるBENNを提案する。 MLモデルとデータサンプルを与えられたBENNは、モデルの予測に基づいてすべての機能に対するバイアス推定を提供します。 3つのベンチマークデータセットと1つの独自のチャーン予測モデルを用いてBENNを評価した。
  論文  参考訳（メタデータ） (2020-12-23T08:25:35Z)
• Positive-Congruent Training: Towards Regression-Free Model Updates [87.25247195148187]
  画像分類において、サンプルワイドの不整合は「負のフリップ」として現れる 新しいモデルは、古い(参照)モデルによって正しく分類されたテストサンプルの出力を誤って予測する。 そこで本研究では,PC トレーニングのための簡易なアプローチである Focal Distillation を提案する。
  論文  参考訳（メタデータ） (2020-11-18T09:00:44Z)
• Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
  本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。 我々は,再建基準の代替として,異常スコアの代替尺度を提案した。 提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-24T08:26:58Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。