論文の概要: GROD: Enhancing Generalization of Transformer with Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2406.12915v1
- Date: Thu, 13 Jun 2024 17:54:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-23 13:15:04.276750
- Title: GROD: Enhancing Generalization of Transformer with Out-of-Distribution Detection
- Title（参考訳）: GROD:アウト・オブ・ディストリビューション検出による変圧器の一般化の促進
- Authors: Yijin Zhou, Yuguang Wang,
- Abstract要約: トランスフォーマーネットワークは自然言語処理(NLP)とコンピュータビジョン(CV)タスクに優れている。
彼らは、out-of-Distribution(OOD)データセットを一般化する上で、課題に直面している。
本稿では,OOD検出に基づく新しい手法を提案し,このアルゴリズムをGROD(Generate Rounded OOD Data)アルゴリズムと呼ぶ。
- 参考スコア（独自算出の注目度）: 2.5784247487450083
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer networks excel in natural language processing (NLP) and computer vision (CV) tasks. However, they face challenges in generalizing to Out-of-Distribution (OOD) datasets, that is, data whose distribution differs from that seen during training. The OOD detection aims to distinguish data that deviates from the expected distribution, while maintaining optimal performance on in-distribution (ID) data. This paper introduces a novel approach based on OOD detection, termed the Generate Rounded OOD Data (GROD) algorithm, which significantly bolsters the generalization performance of transformer networks across various tasks. GROD is motivated by our new OOD detection Probably Approximately Correct (PAC) Theory for transformer. The transformer has learnability in terms of OOD detection that is, when the data is sufficient the outlier can be well represented. By penalizing the misclassification of OOD data within the loss function and generating synthetic outliers, GROD guarantees learnability and refines the decision boundaries between inlier and outlier. This strategy demonstrates robust adaptability and general applicability across different data types. Evaluated across diverse OOD detection tasks in NLP and CV, GROD achieves SOTA regardless of data format. On average, it reduces the SOTA FPR@95 from 21.97% to 0.12%, and improves AUROC from 93.62% to 99.98% on image classification tasks, and the SOTA FPR@95 by 12.89% and AUROC by 2.27% in detecting semantic text outliers. The code is available at https://anonymous.4open.science/r/GROD-OOD-Detection-with-transformers-B70F.
- Abstract（参考訳）: トランスフォーマーネットワークは自然言語処理(NLP)とコンピュータビジョン(CV)タスクに優れている。
しかし、それらは、アウト・オブ・ディストリビューション(OOD)データセット、すなわち、トレーニング中に見られるデータと分布が異なるデータを一般化する際の課題に直面している。
OOD検出は、予想される分布から逸脱するデータを識別することを目的としており、分散内(ID)データ上での最適性能を維持している。
本稿では,OOD 検出に基づく新しい手法である Generate Rounded OOD Data (GROD) アルゴリズムを提案する。
GRODは変換器のための新しいOOD検出確率近似理論(PAC)によって動機付けられている。
変換器は、OOD検出の観点で、つまりデータが十分であれば、外れ値が適切に表現できる学習性を有する。
損失関数内のOODデータの誤分類をペナルティ化し、合成外れ値を生成することにより、GRODは学習可能性を保証するとともに、inlierとoutlierの判定境界を洗練する。
この戦略は、さまざまなデータタイプにまたがる堅牢な適応性と一般的な適用性を示している。
NLP と CV の様々な OOD 検出タスクで評価され,データフォーマットに関わらず GROD は SOTA を実現する。
平均すると、SOTA FPR@95は21.97%から0.12%に減少し、画像分類タスクでは93.62%から99.98%、SOTA FPR@95は12.89%、AUROCは2.27%改善している。
コードはhttps://anonymous.4open.science/r/GROD-OOD-Detection-with-transformers-B70Fで公開されている。
関連論文リスト
- How Does Unlabeled Data Provably Help Out-of-Distribution Detection? [63.41681272937562]
in-distribution (ID) とout-of-distribution (OOD) の両データの不均一性のため、未ラベルの in-the-wild データは非自明である。
本稿では,理論的保証と実証的有効性の両方を提供する新たな学習フレームワークであるSAL(Separate And Learn)を紹介する。
論文 参考訳（メタデータ） (2024-02-05T20:36:33Z) - Out-of-distribution Object Detection through Bayesian Uncertainty
Estimation [10.985423935142832]
OOD検出のための新しい,直感的で,スケーラブルなオブジェクト検出手法を提案する。
提案手法は,提案したガウス分布からの重みパラメータサンプリングにより,IDデータとOODデータを識別することができる。
BDD100kおよびVOCデータセットでトレーニングした場合,FPR95スコアを最大8.19%削減し,AUROCスコアを最大13.94%向上させることで,ベイズ対象検出器のOOD識別性能が良好であることを実証した。
論文 参考訳（メタデータ） (2023-10-29T19:10:52Z) - Out-of-Distribution Detection by Leveraging Between-Layer Transformation
Smoothness [4.724825031148413]
本稿では,ネットワークの中間層間の変換スムーズ性に基づくトランスフォーマー内のOODデータ検出手法を提案する。
トランスフォーマーネットワークを用いた複数のテキスト分類タスクにおけるBLOODの評価を行い、これと同等のリソース要求でメソッドを性能良くすることを示した。
我々の分析は、単純なタスクを学習するとき、OODデータ変換は元のシャープネスを維持し、一方、より複雑なタスクではシャープネスが増加することを示唆している。
論文 参考訳（メタデータ） (2023-10-04T13:59:45Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Out-of-Distribution Detection with Hilbert-Schmidt Independence
Optimization [114.43504951058796]
異常検出タスクはAIの安全性において重要な役割を担っている。
ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。
我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
論文 参考訳（メタデータ） (2022-09-26T15:59:55Z) - Augmenting Softmax Information for Selective Classification with
Out-of-Distribution Data [7.221206118679026]
既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。
本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。
多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
論文 参考訳（メタデータ） (2022-07-15T14:39:57Z) - Training OOD Detectors in their Natural Habitats [31.565635192716712]
アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。
近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。
我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-07T15:38:39Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Exploring Covariate and Concept Shift for Detection and Calibration of
Out-of-Distribution Data [77.27338842609153]
キャラクタリゼーションにより、OODデータの検出と信頼性校正には、それぞれのシフトに対する感度が重要であることが明らかになった。
分布内データのみを用いて両シフトでのOOD検出を改善するために,幾何学的に着想を得た手法を提案する。
我々は,OOD検出とキャリブレーションの両面で,異なるタイプのシフトの下でうまく機能する手法を最初に提案する。
論文 参考訳（メタデータ） (2021-10-28T15:42:55Z) - OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。
本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-07-19T15:46:38Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。