論文の概要: GROD: Enhancing Generalization of Transformer with Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2406.12915v2
• Date: Fri, 04 Oct 2024 11:36:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 15:06:23.046329
• Title: GROD: Enhancing Generalization of Transformer with Out-of-Distribution Detection
• Title（参考訳）: GROD:アウト・オブ・ディストリビューション検出による変圧器の一般化の促進
• Authors: Yijin Zhou, Yuguang Wang,
• Abstract要約: トランスフォーマーネットワークは自然言語処理(NLP)とコンピュータビジョン(CV)タスクに優れている。 彼らは、out-of-Distribution(OOD)データセットを一般化する上で、課題に直面している。 本稿では,OOD検出に基づく新しい手法を提案し,このアルゴリズムをGROD(Generate Rounded OOD Data)アルゴリズムと呼ぶ。
• 参考スコア（独自算出の注目度）: 2.5784247487450083
• License:
• Abstract: Transformer networks excel in natural language processing (NLP) and computer vision (CV) tasks. However, they face challenges in generalizing to Out-of-Distribution (OOD) datasets, that is, data whose distribution differs from that seen during training. The OOD detection aims to distinguish data that deviates from the expected distribution, while maintaining optimal performance on in-distribution (ID) data. This paper introduces a novel approach based on OOD detection, termed the Generate Rounded OOD Data (GROD) algorithm, which significantly bolsters the generalization performance of transformer networks across various tasks. GROD is motivated by our new OOD detection Probably Approximately Correct (PAC) Theory for transformer. The transformer has learnability in terms of OOD detection that is, when the data is sufficient the outlier can be well represented. By penalizing the misclassification of OOD data within the loss function and generating synthetic outliers, GROD guarantees learnability and refines the decision boundaries between inlier and outlier. This strategy demonstrates robust adaptability and general applicability across different data types. Evaluated across diverse OOD detection tasks in NLP and CV, GROD achieves SOTA regardless of data format. The code is available at https://anonymous.4open.science/r/GROD-OOD-Detection-with-transformers-B70F.
• Abstract（参考訳）: トランスフォーマーネットワークは自然言語処理(NLP)とコンピュータビジョン(CV)タスクに優れている。 しかし、それらは、アウト・オブ・ディストリビューション(OOD)データセット、すなわち、トレーニング中に見られるデータと分布が異なるデータを一般化する際の課題に直面している。 OOD検出は、予想される分布から逸脱するデータを識別することを目的としており、分散内(ID)データ上での最適性能を維持している。 本稿では,OOD 検出に基づく新しい手法である Generate Rounded OOD Data (GROD) アルゴリズムを提案する。 GRODは変換器のための新しいOOD検出確率近似理論(PAC)によって動機付けられている。 変換器は、OOD検出の観点で、つまりデータが十分であれば、外れ値が適切に表現できる学習性を有する。 損失関数内のOODデータの誤分類をペナルティ化し、合成外れ値を生成することにより、GRODは学習可能性を保証するとともに、inlierとoutlierの判定境界を洗練する。 この戦略は、さまざまなデータタイプにまたがる堅牢な適応性と一般的な適用性を示している。 NLP と CV の様々な OOD 検出タスクで評価され,データフォーマットに関わらず GROD は SOTA を実現する。 コードはhttps://anonymous.4open.science/r/GROD-OOD-Detection-with-transformers-B70Fで公開されている。

関連論文リスト

• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• F-Fidelity: A Robust Framework for Faithfulness Evaluation of Explainable AI [15.314388210699443]
  微調整フィデリティF-フィデリティはXAIの堅牢な評価フレームワークである。 その結果, F-Fidelity は, 説明者の信頼度を回復する上で, 事前評価基準を著しく改善することを示した。 また,F-Fidelityの指標を忠実に説明すれば,入力成分の空間性を計算することができることを示す。
  論文  参考訳（メタデータ） (2024-10-03T20:23:06Z)
• OAL: Enhancing OOD Detection Using Latent Diffusion [5.357756138014614]
  Outlier Aware Learning (OAL)フレームワークは、潜伏空間で直接OODトレーニングデータを合成する。 In-Distribution (ID) と収集したOOD特徴の区別を増幅する相互情報に基づくコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T11:01:43Z)
• Mitigating Overconfidence in Out-of-Distribution Detection by Capturing Extreme Activations [1.8531577178922987]
  Overconfidence"は特定のニューラルネットワークアーキテクチャの本質的な性質であり、OOD検出の低さにつながる。 ニューラルネットワークの最後層における極端なアクティベーション値を計測し、この過信のプロキシを利用して、複数のOOD検出ベースラインを改善する。 基準値と比較すると,OOD検出は2桁に増加し,精度が向上することが多い。
  論文  参考訳（メタデータ） (2024-05-21T10:14:50Z)
• How Does Unlabeled Data Provably Help Out-of-Distribution Detection? [63.41681272937562]
  in-distribution (ID) とout-of-distribution (OOD) の両データの不均一性のため、未ラベルの in-the-wild データは非自明である。 本稿では,理論的保証と実証的有効性の両方を提供する新たな学習フレームワークであるSAL(Separate And Learn)を紹介する。
  論文  参考訳（メタデータ） (2024-02-05T20:36:33Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Deep Learning of Dynamic Subsurface Flow via Theory-guided Generative Adversarial Network [0.0]
  動的偏微分方程式(PDE)の解法として理論誘導生成逆数ネットワーク(TgGAN)を提案する。 不均一モデルパラメータを持つ動的地下流れに対してTgGANを提案する。 数値計算により,TgGANモデルは動的PDEの深層学習において堅牢で信頼性が高いことが示された。
  論文  参考訳（メタデータ） (2020-06-02T02:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。