論文の概要: Calibrated ensembles can mitigate accuracy tradeoffs under distribution
shift
- arxiv url: http://arxiv.org/abs/2207.08977v1
- Date: Mon, 18 Jul 2022 23:14:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 13:21:22.135163
- Title: Calibrated ensembles can mitigate accuracy tradeoffs under distribution
shift
- Title(参考訳): キャリブレーションアンサンブルは分布シフト時の精度トレードオフを軽減する
- Authors: Ananya Kumar and Tengyu Ma and Percy Liang and Aditi Raghunathan
- Abstract要約: ID校正アンサンブルは,IDとOODの精度で,先行技術(自己学習に基づく)より優れていた。
我々は,この手法をスタイリングされた環境で解析し,IDとOODの両方をうまく処理するためのアンサンブルの2つの重要な条件を同定する。
- 参考スコア(独自算出の注目度): 108.30303219703845
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We often see undesirable tradeoffs in robust machine learning where
out-of-distribution (OOD) accuracy is at odds with in-distribution (ID)
accuracy: a robust classifier obtained via specialized techniques such as
removing spurious features often has better OOD but worse ID accuracy compared
to a standard classifier trained via ERM. In this paper, we find that
ID-calibrated ensembles -- where we simply ensemble the standard and robust
models after calibrating on only ID data -- outperforms prior state-of-the-art
(based on self-training) on both ID and OOD accuracy. On eleven natural
distribution shift datasets, ID-calibrated ensembles obtain the best of both
worlds: strong ID accuracy and OOD accuracy. We analyze this method in stylized
settings, and identify two important conditions for ensembles to perform well
both ID and OOD: (1) we need to calibrate the standard and robust models (on ID
data, because OOD data is unavailable), (2) OOD has no anticorrelated spurious
features.
- Abstract(参考訳): 分散性(ood)の精度が分散性(id)の精度と相反する、堅牢な機械学習では、望ましくないトレードオフがしばしば見られる。
本稿では、IDデータのみを校正した後、標準モデルとロバストモデルとをアンサンブルしたID校正アンサンブルが、IDとOODの精度で先行技術(自己学習に基づく)より優れていることを示す。
11の自然分布シフトデータセットにおいて、id共役アンサンブルは、強いid精度とood精度の両世界のベストを得られる。
我々は,本手法をスタイリングした環境で解析し,(1)標準モデルとロバストモデル(OODデータが利用できないため,IDデータにおいて)を校正する必要があること,(2)OODにはアンチコラージュ機能がないこと,の2つの重要な条件を特定する。
関連論文リスト
- How Does Unlabeled Data Provably Help Out-of-Distribution Detection? [63.41681272937562]
in-distribution (ID) とout-of-distribution (OOD) の両データの不均一性のため、未ラベルの in-the-wild データは非自明である。
本稿では,理論的保証と実証的有効性の両方を提供する新たな学習フレームワークであるSAL(Separate And Learn)を紹介する。
論文 参考訳(メタデータ) (2024-02-05T20:36:33Z) - Out-of-Distribution Knowledge Distillation via Confidence Amendment [50.56321442948141]
標準ネットワークがトレーニングされるIDデータから逸脱するテストサンプルを特定するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
本稿では,IDデータのトレーニングが可能であるか否かを問う,先駆的な学習フレームワークであるOODナレッジ蒸留について紹介する。
このフレームワークは、標準ネットワークからOODに敏感な知識を活用し、IDとOODサンプルの識別に適したバイナリ分類器を構築する。
論文 参考訳(メタデータ) (2023-11-14T08:05:02Z) - Out-of-distribution Detection Learning with Unreliable
Out-of-distribution Sources [73.28967478098107]
アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。
通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。
本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
論文 参考訳(メタデータ) (2023-11-06T16:26:52Z) - Towards Calibrated Robust Fine-Tuning of Vision-Language Models [83.06807954664431]
我々は、最先端の頑健な微調整が、事前訓練された視覚言語モデルの校正を損なうことを示す。
ドメイン間のIDキャリブレーションとロバスト予測をインセンティブとするキャリブレーション型ロバスト微調整法であるCaRotを提案する。
論文 参考訳(メタデータ) (2023-11-03T05:41:25Z) - Agreement-on-the-Line: Predicting the Performance of Neural Networks
under Distribution Shift [18.760716606922482]
類似しているが驚くべき現象が、ニューラルネットワークの分類器のペア間の一致にも現れている。
我々の予測アルゴリズムは、ライン上の合意が保持されるシフトと、ライン上の正確性がない場合の両方において、従来の手法よりも優れています。
論文 参考訳(メタデータ) (2022-06-27T07:50:47Z) - Training OOD Detectors in their Natural Habitats [31.565635192716712]
アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。
近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。
我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-02-07T15:38:39Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳(メタデータ) (2021-06-08T11:40:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。