論文の概要: Out-of-Distribution Detection by Leveraging Between-Layer Transformation
Smoothness
- arxiv url: http://arxiv.org/abs/2310.02832v1
- Date: Wed, 4 Oct 2023 13:59:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 14:48:08.662772
- Title: Out-of-Distribution Detection by Leveraging Between-Layer Transformation
Smoothness
- Title（参考訳）: 層間変換平滑化による分布外検出
- Authors: Fran Jeleni\'c, Josip Juki\'c, Martin Tutek, Mate Puljiz, Jan
\v{S}najder
- Abstract要約: 本稿では,ネットワークの中間層間のスムーズな変換に基づく,深層ニューラルネットワークにおけるOODデータ検出手法を提案する。
BLOODは、トレーニングデータにアクセスすることなく、事前トレーニングされたモデルに適用できる。
トランスフォーマーネットワークを用いた複数のテキスト分類タスクにおけるBLOODの評価を行い、これと同等のリソース要求でメソッドを性能良くすることを示した。
- 参考スコア（独自算出の注目度）: 4.724825031148413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effective OOD detection is crucial for reliable machine learning models, yet
most current methods are limited in practical use due to requirements like
access to training data or intervention in training. We present a novel method
for detecting OOD data in deep neural networks based on transformation
smoothness between intermediate layers of a network (BLOOD), which is
applicable to pre-trained models without access to training data. BLOOD
utilizes the tendency of between-layer representation transformations of
in-distribution (ID) data to be smoother than the corresponding transformations
of OOD data, a property that we also demonstrate empirically for Transformer
networks. We evaluate BLOOD on several text classification tasks with
Transformer networks and demonstrate that it outperforms methods with
comparable resource requirements. Our analysis also suggests that when learning
simpler tasks, OOD data transformations maintain their original sharpness,
whereas sharpness increases with more complex tasks.
- Abstract（参考訳）: 効果的なood検出は、信頼性の高い機械学習モデルには不可欠であるが、トレーニングデータへのアクセスやトレーニングへの介入といった要件のために、現在のほとんどの方法は実用的に制限されている。
本稿では,トレーニングデータにアクセスせずに事前学習されたモデルに適用可能なネットワーク(ブラッド)の中間層間の変換平滑性に基づいて,深層ニューラルネットワーク内のoodデータを検出する新しい手法を提案する。
BLOODは、トランスフォーマーネットワークにおいても実証的な特性であるOODデータの変換よりもスムーズなIDデータの層間表現変換の傾向を利用する。
トランスフォーマーネットワークを用いた複数のテキスト分類タスクにおける血行評価を行い,同等のリソース要件を満たした手法よりも優れていることを示す。
また,より単純なタスクを学ぶ場合,oodデータ変換は元のシャープネスを維持し,シャープネスはより複雑なタスクで増加することが示唆された。
関連論文リスト
- Gradient-Regularized Out-of-Distribution Detection [28.542499196417214]
現実のアプリケーションにおけるニューラルネットワークの課題の1つは、これらのモデルが元のトレーニングディストリビューションからデータが送られていないときに犯す過信エラーである。
本稿では,学習中の損失関数の勾配に埋め込まれた情報を活用して,ネットワークが各サンプルに対して所望のOODスコアを学習できるようにする方法を提案する。
また、トレーニング期間中に、より情報性の高いOODサンプルにネットワークを露出させるための、新しいエネルギーベースのサンプリング手法を開発した。
論文 参考訳（メタデータ） (2024-04-18T17:50:23Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:47:13Z) - Distilling the Unknown to Unveil Certainty [66.29929319664167]
標準ネットワークがトレーニングされるIDデータから逸脱するテストサンプルを特定するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
本稿では,IDデータのトレーニングが可能であるか否かを問う,先駆的な学習フレームワークであるOODナレッジ蒸留について紹介する。
論文 参考訳（メタデータ） (2023-11-14T08:05:02Z) - Out-of-distribution Detection Learning with Unreliable
Out-of-distribution Sources [73.28967478098107]
アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。
通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。
本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
論文 参考訳（メタデータ） (2023-11-06T16:26:52Z) - Classifier-head Informed Feature Masking and Prototype-based Logit
Smoothing for Out-of-Distribution Detection [27.062465089674763]
ニューラルネットワークを現実世界にデプロイする際には、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
1つの大きな課題は、ニューラルネットワークがOODデータに対して過信的な予測をすることです。
本稿では,新しい特徴マスキング戦略と新しいロジット平滑化戦略に基づく,効果的なポストホックOOD検出手法を提案する。
論文 参考訳（メタデータ） (2023-10-27T12:42:17Z) - Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。
我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-09T04:36:38Z) - Using Semantic Information for Defining and Detecting OOD Inputs [3.9577682622066264]
アウト・オブ・ディストリビューション(OOD)検出は近年注目されている。
現在の検出器がトレーニングデータセットのバイアスを継承していることを示します。
これにより、現在のOOD検出器はトレーニング分布の外にある入力に不透過であり、同じ意味情報を持つことができる。
我々は,MNISTおよびCOCOデータセットのトレーニングデータから抽出した意味情報に基づいてOOD検出を行う。
論文 参考訳（メタデータ） (2023-02-21T21:31:20Z) - Igeood: An Information Geometry Approach to Out-of-Distribution
Detection [35.04325145919005]
Igeoodは, オフ・オブ・ディストリビューション(OOD)サンプルを効果的に検出する手法である。
Igeoodは任意のトレーニング済みニューラルネットワークに適用され、機械学習モデルにさまざまなアクセス権を持つ。
Igeoodは、さまざまなネットワークアーキテクチャやデータセットにおいて、競合する最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-03-15T11:26:35Z) - Distributionally Robust Recurrent Decoders with Random Network
Distillation [93.10261573696788]
本稿では,自動回帰言語モデルが推論中にOODコンテキストを無視できるように,ランダムネットワーク蒸留を用いたOOD検出に基づく手法を提案する。
提案手法をGRUアーキテクチャに適用し,複数の言語モデリング(LM)データセットの改善を実証する。
論文 参考訳（メタデータ） (2021-10-25T19:26:29Z) - OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。
本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-07-19T15:46:38Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。