論文の概要: How Out-of-Distribution Detection Learning Theory Enhances Transformer: Learnability and Reliability

• arxiv url: http://arxiv.org/abs/2406.12915v4
• Date: Sat, 01 Feb 2025 16:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:03:33.862400
• Title: How Out-of-Distribution Detection Learning Theory Enhances Transformer: Learnability and Reliability
• Title（参考訳）: 変圧器のアウト・オブ・ディストリビューション検出学習理論 : 学習可能性と信頼性
• Authors: Yijin Zhou, Yutang Ge, Xiaowen Dong, Yuguang Wang,
• Abstract要約: 本稿では,変圧器のOOD検出確率近似(PAC)理論を紹介する。 損失関数内の外れ値の誤分類をペナルティ化することにより、トランスフォーマーネットワークの信頼性を確実に向上させることができる。 このアプローチは、学習可能性を確保し、インレーヤとアウトレーヤの間の決定境界を洗練する新しいアルゴリズムをもたらす。
• 参考スコア（独自算出の注目度）: 10.056026416603006
• License:
• Abstract: Transformer networks excel in natural language processing and computer vision tasks. However, they still face challenges in generalizing to Out-of-Distribution (OOD) datasets, i.e. data whose distribution differs from that seen during training. The OOD detection aims to distinguish outliers while preserving in-distribution (ID) data performance. This paper introduces the OOD detection Probably Approximately Correct (PAC) Theory for transformers, which establishes the conditions for data distribution and model configurations for the learnability of transformers in terms of OOD detection. The theory demonstrates that outliers can be accurately represented and distinguished with sufficient data. The theoretical implications highlight the trade-off between theoretical principles and practical training paradigms. By examining this trade-off, we naturally derived the rationale for leveraging auxiliary outliers to enhance OOD detection. Our theory suggests that by penalizing the misclassification of outliers within the loss function and strategically generating soft synthetic outliers, one can robustly bolster the reliability of transformer networks. This approach yields a novel algorithm that ensures learnability and refines the decision boundaries between inliers and outliers. In practice, the algorithm consistently achieves state-of-the-art performance across various data formats.
• Abstract（参考訳）: トランスフォーマーネットワークは自然言語処理やコンピュータビジョンタスクに優れている。 しかし、これらのデータセットは、トレーニング中に見られるものと分布が異なるデータであるOOD(Out-of-Distribution)データセットに一般化する際の課題に直面している。 OOD検出は、ディストリビューション(ID)データパフォーマンスを維持しながら、アウトリーチを区別することを目的としている。 本稿では, 変圧器におけるOOD検出確率近似(PAC)理論を紹介し, 変圧器の学習可能性に関するデータ分布条件とモデル構成をOOD検出の観点から確立する。 この理論は、外れ値が十分なデータで正確に表現され、区別できることを証明している。 理論的な含意は、理論原理と実践的な訓練パラダイムのトレードオフを浮き彫りにする。 このトレードオフを調べた結果,OOD検出の精度を高めるために補助的外れ値を活用するための理論的根拠を自然に導き出した。 我々の理論は、損失関数内の外れ値の誤分類を罰し、戦略的にソフトな合成外れ値を生成することにより、トランスフォーマーネットワークの信頼性を確実に向上させることができることを示唆している。 このアプローチは、学習可能性を確保し、インレーヤとアウトレーヤの間の決定境界を洗練する新しいアルゴリズムをもたらす。 実際には、アルゴリズムは様々なデータフォーマットにわたる最先端のパフォーマンスを一貫して達成する。

関連論文リスト

• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• F-Fidelity: A Robust Framework for Faithfulness Evaluation of Explainable AI [15.314388210699443]
  微調整フィデリティF-フィデリティはXAIの堅牢な評価フレームワークである。 その結果, F-Fidelity は, 説明者の信頼度を回復する上で, 事前評価基準を著しく改善することを示した。 また,F-Fidelityの指標を忠実に説明すれば,入力成分の空間性を計算することができることを示す。
  論文  参考訳（メタデータ） (2024-10-03T20:23:06Z)
• OAL: Enhancing OOD Detection Using Latent Diffusion [5.357756138014614]
  Outlier Aware Learning (OAL)フレームワークは、潜伏空間で直接OODトレーニングデータを合成する。 In-Distribution (ID) と収集したOOD特徴の区別を増幅する相互情報に基づくコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T11:01:43Z)
• Mitigating Overconfidence in Out-of-Distribution Detection by Capturing Extreme Activations [1.8531577178922987]
  Overconfidence"は特定のニューラルネットワークアーキテクチャの本質的な性質であり、OOD検出の低さにつながる。 ニューラルネットワークの最後層における極端なアクティベーション値を計測し、この過信のプロキシを利用して、複数のOOD検出ベースラインを改善する。 基準値と比較すると,OOD検出は2桁に増加し,精度が向上することが多い。
  論文  参考訳（メタデータ） (2024-05-21T10:14:50Z)
• How Does Unlabeled Data Provably Help Out-of-Distribution Detection? [63.41681272937562]
  in-distribution (ID) とout-of-distribution (OOD) の両データの不均一性のため、未ラベルの in-the-wild データは非自明である。 本稿では,理論的保証と実証的有効性の両方を提供する新たな学習フレームワークであるSAL(Separate And Learn)を紹介する。
  論文  参考訳（メタデータ） (2024-02-05T20:36:33Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Deep Learning of Dynamic Subsurface Flow via Theory-guided Generative Adversarial Network [0.0]
  動的偏微分方程式(PDE)の解法として理論誘導生成逆数ネットワーク(TgGAN)を提案する。 不均一モデルパラメータを持つ動的地下流れに対してTgGANを提案する。 数値計算により,TgGANモデルは動的PDEの深層学習において堅牢で信頼性が高いことが示された。
  論文  参考訳（メタデータ） (2020-06-02T02:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。