論文の概要: CODEs: Chamfer Out-of-Distribution Examples against Overconfidence Issue
- arxiv url: http://arxiv.org/abs/2108.06024v1
- Date: Fri, 13 Aug 2021 01:56:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-16 21:00:13.496057
- Title: CODEs: Chamfer Out-of-Distribution Examples against Overconfidence Issue
- Title(参考訳): コード:chamfer out-of-distribution examples against overconfidence issue
- Authors: Keke Tang, Dingruibo Miao, Weilong Peng, Jianpeng Wu, Yawen Shi,
Zhaoquan Gu, Zhihong Tian, and Wenping Wang
- Abstract要約: オフ・オブ・ディストリビューション(OOD)サンプルに関する過信な予測は、ディープニューラルネットワークにとって厄介な問題である。
本稿では,分布が分布内サンプルに近いCODE(Chamfer OOD example)を提案する。
我々は,その予測を抑えることで,OOD過信問題を効果的に緩和するためにCODEを利用することができることを示した。
- 参考スコア(独自算出の注目度): 22.900378003745196
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Overconfident predictions on out-of-distribution (OOD) samples is a thorny
issue for deep neural networks. The key to resolve the OOD overconfidence issue
inherently is to build a subset of OOD samples and then suppress predictions on
them. This paper proposes the Chamfer OOD examples (CODEs), whose distribution
is close to that of in-distribution samples, and thus could be utilized to
alleviate the OOD overconfidence issue effectively by suppressing predictions
on them. To obtain CODEs, we first generate seed OOD examples via
slicing&splicing operations on in-distribution samples from different
categories, and then feed them to the Chamfer generative adversarial network
for distribution transformation, without accessing to any extra data. Training
with suppressing predictions on CODEs is validated to alleviate the OOD
overconfidence issue largely without hurting classification accuracy, and
outperform the state-of-the-art methods. Besides, we demonstrate CODEs are
useful for improving OOD detection and classification.
- Abstract(参考訳): out-of-distribution(ood)サンプルに対する自信過剰な予測は、ディープニューラルネットワークにとって厄介な問題である。
OOD過信問題を解決するための鍵は、本来はOODサンプルのサブセットを構築し、それらに対する予測を抑えることである。
本稿では,分布が分布中のサンプルに近いCODE(Chamfer OOD example)を提案し,その予測を抑えることで,OOD過信問題を効果的に軽減することができる。
コードを得るには,まず,異なるカテゴリの分布サンプルに対するスライシング・スライシング操作を通じてシードoodサンプルを生成し,その後,余分なデータにアクセスすることなく,分布変換のためのchamfer生成逆ネットワークに供給する。
CODEの予測を抑える訓練は、分類精度を損なうことなく、OOD過信問題を軽減し、最先端の手法より優れていることが検証されている。
さらに,OODの検出と分類を改善する上で,CODEが有用であることを示す。
関連論文リスト
- What If the Input is Expanded in OOD Detection? [77.37433624869857]
Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。
In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。
入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
論文 参考訳(メタデータ) (2024-10-24T06:47:28Z) - Mitigating Overconfidence in Out-of-Distribution Detection by Capturing Extreme Activations [1.8531577178922987]
Overconfidence"は特定のニューラルネットワークアーキテクチャの本質的な性質であり、OOD検出の低さにつながる。
ニューラルネットワークの最後層における極端なアクティベーション値を計測し、この過信のプロキシを利用して、複数のOOD検出ベースラインを改善する。
基準値と比較すると,OOD検出は2桁に増加し,精度が向上することが多い。
論文 参考訳(メタデータ) (2024-05-21T10:14:50Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳(メタデータ) (2024-03-05T11:44:14Z) - Distilling the Unknown to Unveil Certainty [66.29929319664167]
標準ネットワークがトレーニングされるIDデータから逸脱するテストサンプルを特定するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
本稿では,IDデータのトレーニングが可能であるか否かを問う,先駆的な学習フレームワークであるOODナレッジ蒸留について紹介する。
論文 参考訳(メタデータ) (2023-11-14T08:05:02Z) - OODRobustBench: a Benchmark and Large-Scale Analysis of Adversarial Robustness under Distribution Shift [20.14559162084261]
OODRobustBenchは60.7Kの敵評価を用いて706のロバストモデルを評価するために使用される。
この大規模解析は、敵対的ロバスト性は深刻なOOD一般化問題に苦しむことを示している。
次に、既存の手法が高いOODロバスト性を達成できないことを予測し、検証する。
論文 参考訳(メタデータ) (2023-10-19T14:50:46Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳(メタデータ) (2022-10-17T14:32:02Z) - Energy-bounded Learning for Robust Models of Code [16.592638312365164]
プログラミングでは、コード表現の学習には、コード分類、コード検索、コメント生成、バグ予測など、さまざまなアプリケーションがある。
本稿では,ソースコードモデルのトレーニングプロセスにこれらのアウト・オブ・ディストリビューション・サンプルを組み込むため,エネルギー境界学習目標関数を用いて,イン・ディストリビューション・サンプルにより高いスコアを割り当て,アウト・オブ・ディストリビューション・サンプルに低いスコアを割り当てることを提案する。
論文 参考訳(メタデータ) (2021-12-20T06:28:56Z) - WOOD: Wasserstein-based Out-of-Distribution Detection [6.163329453024915]
ディープ・ニューラル・ネットワークに基づく分類器のトレーニングデータは、通常同じ分布からサンプリングされる。
トレーニングサンプルから遠く離れた分布からテストサンプルの一部を引き出すと、トレーニングされたニューラルネットワークはこれらのOODサンプルに対して高い信頼性の予測を行う傾向にある。
本稿では,これらの課題を克服するため,Wasserstein を用いたアウト・オブ・ディストリビューション検出(WOOD)手法を提案する。
論文 参考訳(メタデータ) (2021-12-13T02:35:15Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳(メタデータ) (2021-06-08T11:40:49Z) - Statistical Testing for Efficient Out of Distribution Detection in Deep
Neural Networks [26.0303701309125]
本稿では,Deep Neural Networks の Out Of Distribution (OOD) 検出問題を統計的仮説テスト問題として考察する。
このフレームワークに基づいて、低階統計に基づいた新しいOOD手順を提案します。
本手法は,ネットワークパラメータの再トレーニングを行わずに,oodベンチマークの精度が向上した。
論文 参考訳(メタデータ) (2021-02-25T16:14:47Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳(メタデータ) (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。