論文の概要: VRA: Variational Rectified Activation for Out-of-distribution Detection
- arxiv url: http://arxiv.org/abs/2302.11716v4
- Date: Thu, 18 May 2023 02:05:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 20:05:21.636524
- Title: VRA: Variational Rectified Activation for Out-of-distribution Detection
- Title(参考訳): VRA: 分布外検出のための変分活性化
- Authors: Mingyu Xu, Zheng Lian, Bin Liu, Jianhua Tao
- Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、オープンな世界で信頼性の高い機械学習システムを構築する上で重要である。
ReActはモデル過信に対処する典型的な効果的な手法であり、高いアクティベーションを減らし、流通とOODのギャップを増大させる。
本稿では,これらの抑制と増幅操作を一括関数を用いてシミュレートする「変分整定活性化(VRA)'」という新しい手法を提案する。
- 参考スコア(独自算出の注目度): 45.804178022641764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-distribution (OOD) detection is critical to building reliable machine
learning systems in the open world. Researchers have proposed various
strategies to reduce model overconfidence on OOD data. Among them, ReAct is a
typical and effective technique to deal with model overconfidence, which
truncates high activations to increase the gap between in-distribution and OOD.
Despite its promising results, is this technique the best choice for widening
the gap? To answer this question, we leverage the variational method to find
the optimal operation and verify the necessity of suppressing abnormally low
and high activations and amplifying intermediate activations in OOD detection,
rather than focusing only on high activations like ReAct. This motivates us to
propose a novel technique called ``Variational Rectified Activation (VRA)'',
which simulates these suppression and amplification operations using piecewise
functions. Experimental results on multiple benchmark datasets demonstrate that
our method outperforms existing post-hoc strategies. Meanwhile, VRA is
compatible with different scoring functions and network architectures.
\textcolor[rgb]{0.93,0.0,0.47}{Our code can be found in Supplementary
Material}.
- Abstract(参考訳): オープンな世界で信頼できる機械学習システムを構築するには、分散(ood)検出が不可欠である。
研究者はOODデータに対するモデル過信を減らすための様々な戦略を提案している。
その中でも、ReActはモデル過信を扱う典型的な効果的な手法であり、高いアクティベーションを減らし、流通とOODのギャップを増す。
有望な結果にもかかわらず、このテクニックはギャップを広げる最善の選択だろうか?
そこで本研究では, 最適動作の探索に変分法を応用し, 異常に低い活性化と高い活性化を抑制し, ood検出における中間活性化を増幅する必要性を検証した。
そこで本研究では,これらの抑制と増幅操作を一括関数を用いてシミュレートする,'Variational Rectified Activation' (VRA)' と呼ばれる新しい手法を提案する。
複数のベンチマークデータセットの実験結果から,本手法が既存のポストホック戦略より優れていることが示された。
一方、VRAは異なるスコアリング機能やネットワークアーキテクチャと互換性がある。
\textcolor[rgb]{0.93,0.0,0.47}{Our コードは補足材料} にある。
関連論文リスト
- Advancing Out-of-Distribution Detection through Data Purification and
Dynamic Activation Function Design [12.45245390882047]
OOD-R(Out-of-Distribution-Rectified)は,ノイズ低減特性が向上したオープンソースデータセットの集合体である。
OOD-Rはノイズフィルタリング技術を導入してデータセットを洗練し、OOD検出アルゴリズムのより正確で信頼性の高い評価を確実にする。
本稿では,多様な入力に対するモデルの応答を微調整し,特徴抽出の安定性を向上させる革新的な方法であるActFunを提案する。
論文 参考訳(メタデータ) (2024-03-06T02:39:22Z) - MOODv2: Masked Image Modeling for Out-of-Distribution Detection [57.17163962383442]
本研究は,様々なOODスコア関数を用いて,個別の事前学習課題について検討する。
当社のフレームワークMOODv2は,14.30%のAUROCをImageNetで95.68%に向上し,CIFAR-10で99.98%を達成した。
論文 参考訳(メタデータ) (2024-01-05T02:57:58Z) - Unsupervised Out-of-Distribution Detection by Restoring Lossy Inputs
with Variational Autoencoder [3.498694457257263]
OOD検出のための新しいVAEベースのスコアであるError Reduction(ER)を提案する。
ERは、トレーニングセットの損失バージョンを入力として、元のセットをターゲットとして、VAEに基づいています。
論文 参考訳(メタデータ) (2023-09-05T09:42:15Z) - REX: Rapid Exploration and eXploitation for AI Agents [103.68453326880456]
本稿では、REXと呼ばれるAIエージェントのための高速探索およびeXploitationのための改良されたアプローチを提案する。
REXは追加の報酬層を導入し、アッパー信頼境界(UCB)スコアに似た概念を統合し、より堅牢で効率的なAIエージェントのパフォーマンスをもたらす。
論文 参考訳(メタデータ) (2023-07-18T04:26:33Z) - AUTO: Adaptive Outlier Optimization for Online Test-Time OOD Detection [81.49353397201887]
オープンソースアプリケーションに機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。
我々は、未ラベルのオンラインデータをテスト時に直接利用してOOD検出性能を向上させる、テスト時OOD検出と呼ばれる新しいパラダイムを導入する。
本稿では,入出力フィルタ,IDメモリバンク,意味的に一貫性のある目的からなる適応外乱最適化(AUTO)を提案する。
論文 参考訳(メタデータ) (2023-03-22T02:28:54Z) - RODD: A Self-Supervised Approach for Robust Out-of-Distribution
Detection [12.341250124228859]
本稿では,分散データセットに依存しない簡易かつ効果的なOOD検出手法を提案する。
提案手法は, コンパクトな低次元空間上に埋没するトレーニングサンプルの自己教師型特徴学習に依存する。
自己教師付きコントラスト学習を用いた事前学習モデルでは、潜伏空間における一次元特徴学習のより良いモデルが得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-06T03:05:58Z) - ReAct: Out-of-distribution Detection With Rectified Activations [20.792140933660075]
オフ・オブ・ディストリビューション (OOD) 検出は, 実用的重要性から近年注目されている。
主な課題の1つは、モデルがしばしばOODデータに対して高い信頼性の予測を生成することである。
我々は,OODデータに対するモデル過信を低減するためのシンプルで効果的な手法であるReActを提案する。
論文 参考訳(メタデータ) (2021-11-24T21:02:07Z) - Enhancing the Generalization for Intent Classification and Out-of-Domain
Detection in SLU [70.44344060176952]
インテント分類は、音声言語理解(SLU)における主要な課題である
近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。
本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
論文 参考訳(メタデータ) (2021-06-28T08:27:38Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳(メタデータ) (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。