論文の概要: GROD: Enhancing Generalization of Transformer with Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2406.12915v3
- Date: Mon, 14 Oct 2024 06:41:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 17:54:24.761146
- Title: GROD: Enhancing Generalization of Transformer with Out-of-Distribution Detection
- Title（参考訳）: GROD:アウト・オブ・ディストリビューション検出による変圧器の一般化の促進
- Authors: Yijin Zhou, Yuguang Wang,
- Abstract要約: トランスフォーマーネットワークは自然言語処理(NLP)とコンピュータビジョン(CV)タスクに優れている。
彼らは、out-of-Distribution(OOD)データセットを一般化する上で、課題に直面している。
本稿では,OOD検出に基づく新しい手法を提案し,このアルゴリズムをGROD(Generate Rounded OOD Data)アルゴリズムと呼ぶ。
- 参考スコア（独自算出の注目度）: 2.5784247487450083
- License:
- Abstract: Transformer networks excel in natural language processing (NLP) and computer vision (CV) tasks. However, they face challenges in generalizing to Out-of-Distribution (OOD) datasets, that is, data whose distribution differs from that seen during training. The OOD detection aims to distinguish data that deviates from the expected distribution, while maintaining optimal performance on in-distribution (ID) data. This paper introduces a novel approach based on OOD detection, termed the Generate Rounded OOD Data (GROD) algorithm, which significantly bolsters the generalization performance of transformer networks across various tasks. GROD is motivated by our new OOD detection Probably Approximately Correct (PAC) Theory for transformer. The transformer has learnability in terms of OOD detection that is, when the data is sufficient the outlier can be well represented. By penalizing the misclassification of OOD data within the loss function and generating synthetic outliers, GROD guarantees learnability and refines the decision boundaries between inlier and outlier. This strategy demonstrates robust adaptability and general applicability across different data types. Evaluated across diverse OOD detection tasks in NLP and CV, GROD achieves SOTA regardless of data format. The code is available at https://anonymous.4open.science/r/GROD-OOD-Detection-with-transformers-B70F.
- Abstract（参考訳）: トランスフォーマーネットワークは自然言語処理(NLP)とコンピュータビジョン(CV)タスクに優れている。
しかし、それらは、アウト・オブ・ディストリビューション(OOD)データセット、すなわち、トレーニング中に見られるデータと分布が異なるデータを一般化する際の課題に直面している。
OOD検出は、予想される分布から逸脱するデータを識別することを目的としており、分散内(ID)データ上での最適性能を維持している。
本稿では,OOD 検出に基づく新しい手法である Generate Rounded OOD Data (GROD) アルゴリズムを提案する。
GRODは変換器のための新しいOOD検出確率近似理論(PAC)によって動機付けられている。
変換器は、OOD検出の観点で、つまりデータが十分であれば、外れ値が適切に表現できる学習性を有する。
損失関数内のOODデータの誤分類をペナルティ化し、合成外れ値を生成することにより、GRODは学習可能性を保証するとともに、inlierとoutlierの判定境界を洗練する。
この戦略は、さまざまなデータタイプにまたがる堅牢な適応性と一般的な適用性を示している。
NLP と CV の様々な OOD 検出タスクで評価され,データフォーマットに関わらず GROD は SOTA を実現する。
コードはhttps://anonymous.4open.science/r/GROD-OOD-Detection-with-transformers-B70Fで公開されている。
関連論文リスト
- What If the Input is Expanded in OOD Detection? [77.37433624869857]
Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。
In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。
入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
論文 参考訳（メタデータ） (2024-10-24T06:47:28Z) - How Does Unlabeled Data Provably Help Out-of-Distribution Detection? [63.41681272937562]
in-distribution (ID) とout-of-distribution (OOD) の両データの不均一性のため、未ラベルの in-the-wild データは非自明である。
本稿では,理論的保証と実証的有効性の両方を提供する新たな学習フレームワークであるSAL(Separate And Learn)を紹介する。
論文 参考訳（メタデータ） (2024-02-05T20:36:33Z) - Out-of-distribution Detection Learning with Unreliable
Out-of-distribution Sources [73.28967478098107]
アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。
通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。
本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
論文 参考訳（メタデータ） (2023-11-06T16:26:52Z) - Out-of-Distribution Detection by Leveraging Between-Layer Transformation
Smoothness [4.724825031148413]
本稿では,ネットワークの中間層間の変換スムーズ性に基づくトランスフォーマー内のOODデータ検出手法を提案する。
トランスフォーマーネットワークを用いた複数のテキスト分類タスクにおけるBLOODの評価を行い、これと同等のリソース要求でメソッドを性能良くすることを示した。
我々の分析は、単純なタスクを学習するとき、OODデータ変換は元のシャープネスを維持し、一方、より複雑なタスクではシャープネスが増加することを示唆している。
論文 参考訳（メタデータ） (2023-10-04T13:59:45Z) - Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。
我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-09T04:36:38Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Augmenting Softmax Information for Selective Classification with
Out-of-Distribution Data [7.221206118679026]
既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。
本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。
多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
論文 参考訳（メタデータ） (2022-07-15T14:39:57Z) - Igeood: An Information Geometry Approach to Out-of-Distribution
Detection [35.04325145919005]
Igeoodは, オフ・オブ・ディストリビューション(OOD)サンプルを効果的に検出する手法である。
Igeoodは任意のトレーニング済みニューラルネットワークに適用され、機械学習モデルにさまざまなアクセス権を持つ。
Igeoodは、さまざまなネットワークアーキテクチャやデータセットにおいて、競合する最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-03-15T11:26:35Z) - Training OOD Detectors in their Natural Habitats [31.565635192716712]
アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。
近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。
我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-07T15:38:39Z) - OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。
本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-07-19T15:46:38Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。