論文の概要: How Out-of-Distribution Detection Learning Theory Enhances Transformer: Learnability and Reliability

• arxiv url: http://arxiv.org/abs/2406.12915v4
• Date: Sat, 01 Feb 2025 16:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 15:57:53.101536
• Title: How Out-of-Distribution Detection Learning Theory Enhances Transformer: Learnability and Reliability
• Title（参考訳）: 変圧器のアウト・オブ・ディストリビューション検出学習理論 : 学習可能性と信頼性
• Authors: Yijin Zhou, Yutang Ge, Xiaowen Dong, Yuguang Wang,
• Abstract要約: 本稿では,変圧器のOOD検出確率近似(PAC)理論を紹介する。 損失関数内の外れ値の誤分類をペナルティ化することにより、トランスフォーマーネットワークの信頼性を確実に向上させることができる。 このアプローチは、学習可能性を確保し、インレーヤとアウトレーヤの間の決定境界を洗練する新しいアルゴリズムをもたらす。
• 参考スコア（独自算出の注目度）: 10.056026416603006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer networks excel in natural language processing and computer vision tasks. However, they still face challenges in generalizing to Out-of-Distribution (OOD) datasets, i.e. data whose distribution differs from that seen during training. The OOD detection aims to distinguish outliers while preserving in-distribution (ID) data performance. This paper introduces the OOD detection Probably Approximately Correct (PAC) Theory for transformers, which establishes the conditions for data distribution and model configurations for the learnability of transformers in terms of OOD detection. The theory demonstrates that outliers can be accurately represented and distinguished with sufficient data. The theoretical implications highlight the trade-off between theoretical principles and practical training paradigms. By examining this trade-off, we naturally derived the rationale for leveraging auxiliary outliers to enhance OOD detection. Our theory suggests that by penalizing the misclassification of outliers within the loss function and strategically generating soft synthetic outliers, one can robustly bolster the reliability of transformer networks. This approach yields a novel algorithm that ensures learnability and refines the decision boundaries between inliers and outliers. In practice, the algorithm consistently achieves state-of-the-art performance across various data formats.
• Abstract（参考訳）: トランスフォーマーネットワークは自然言語処理やコンピュータビジョンタスクに優れている。 しかし、これらのデータセットは、トレーニング中に見られるものと分布が異なるデータであるOOD(Out-of-Distribution)データセットに一般化する際の課題に直面している。 OOD検出は、ディストリビューション(ID)データパフォーマンスを維持しながら、アウトリーチを区別することを目的としている。 本稿では, 変圧器におけるOOD検出確率近似(PAC)理論を紹介し, 変圧器の学習可能性に関するデータ分布条件とモデル構成をOOD検出の観点から確立する。 この理論は、外れ値が十分なデータで正確に表現され、区別できることを証明している。 理論的な含意は、理論原理と実践的な訓練パラダイムのトレードオフを浮き彫りにする。 このトレードオフを調べた結果,OOD検出の精度を高めるために補助的外れ値を活用するための理論的根拠を自然に導き出した。 我々の理論は、損失関数内の外れ値の誤分類を罰し、戦略的にソフトな合成外れ値を生成することにより、トランスフォーマーネットワークの信頼性を確実に向上させることができることを示唆している。 このアプローチは、学習可能性を確保し、インレーヤとアウトレーヤの間の決定境界を洗練する新しいアルゴリズムをもたらす。 実際には、アルゴリズムは様々なデータフォーマットにわたる最先端のパフォーマンスを一貫して達成する。

関連論文リスト

• Revisiting Energy-Based Model for Out-of-Distribution Detection [23.39953997547791]
  Outlier Exposure by Simple Transformations (OEST)は、"peripheral-distribution"(PD)データを活用することで、OOD検出を強化するフレームワークである。 PDデータは単純なデータ変換によって生成されるサンプルであり、手動でキュレートされたアウトレイラに代わる効率的な代替手段を提供する。 OEST*は最先端の手法と比較して精度が良く、あるいは類似している。
  論文  参考訳（メタデータ） (2024-12-04T06:25:26Z)
• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• What If the Input is Expanded in OOD Detection? [77.37433624869857]
  Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。 In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。 入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
  論文  参考訳（メタデータ） (2024-10-24T06:47:28Z)
• Mitigating Overconfidence in Out-of-Distribution Detection by Capturing Extreme Activations [1.8531577178922987]
  Overconfidence"は特定のニューラルネットワークアーキテクチャの本質的な性質であり、OOD検出の低さにつながる。 ニューラルネットワークの最後層における極端なアクティベーション値を計測し、この過信のプロキシを利用して、複数のOOD検出ベースラインを改善する。 基準値と比較すると,OOD検出は2桁に増加し,精度が向上することが多い。
  論文  参考訳（メタデータ） (2024-05-21T10:14:50Z)
• How Does Unlabeled Data Provably Help Out-of-Distribution Detection? [63.41681272937562]
  in-distribution (ID) とout-of-distribution (OOD) の両データの不均一性のため、未ラベルの in-the-wild データは非自明である。 本稿では,理論的保証と実証的有効性の両方を提供する新たな学習フレームワークであるSAL(Separate And Learn)を紹介する。
  論文  参考訳（メタデータ） (2024-02-05T20:36:33Z)
• Out-of-distribution Detection Learning with Unreliable Out-of-distribution Sources [73.28967478098107]
  アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。 通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。 本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
  論文  参考訳（メタデータ） (2023-11-06T16:26:52Z)
• Out-of-Distribution Detection by Leveraging Between-Layer Transformation Smoothness [4.724825031148413]
  本稿では,ネットワークの中間層間の変換スムーズ性に基づくトランスフォーマー内のOODデータ検出手法を提案する。 トランスフォーマーネットワークを用いた複数のテキスト分類タスクにおけるBLOODの評価を行い、これと同等のリソース要求でメソッドを性能良くすることを示した。 我々の分析は、単純なタスクを学習するとき、OODデータ変換は元のシャープネスを維持し、一方、より複雑なタスクではシャープネスが増加することを示唆している。
  論文  参考訳（メタデータ） (2023-10-04T13:59:45Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
  外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。 我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-03-09T04:36:38Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Augmenting Softmax Information for Selective Classification with Out-of-Distribution Data [7.221206118679026]
  既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。 本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。 多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
  論文  参考訳（メタデータ） (2022-07-15T14:39:57Z)
• Igeood: An Information Geometry Approach to Out-of-Distribution Detection [35.04325145919005]
  Igeoodは, オフ・オブ・ディストリビューション(OOD)サンプルを効果的に検出する手法である。 Igeoodは任意のトレーニング済みニューラルネットワークに適用され、機械学習モデルにさまざまなアクセス権を持つ。 Igeoodは、さまざまなネットワークアーキテクチャやデータセットにおいて、競合する最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T11:26:35Z)
• Training OOD Detectors in their Natural Habitats [31.565635192716712]
  アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。 近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。 我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T15:38:39Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
  現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。 本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-07-19T15:46:38Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Deep Learning of Dynamic Subsurface Flow via Theory-guided Generative Adversarial Network [0.0]
  動的偏微分方程式(PDE)の解法として理論誘導生成逆数ネットワーク(TgGAN)を提案する。 不均一モデルパラメータを持つ動的地下流れに対してTgGANを提案する。 数値計算により,TgGANモデルは動的PDEの深層学習において堅牢で信頼性が高いことが示された。
  論文  参考訳（メタデータ） (2020-06-02T02:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。