論文の概要: ITP: Instance-Aware Test Pruning for Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2412.12566v1
- Date: Tue, 17 Dec 2024 05:49:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-18 13:58:52.138494
- Title: ITP: Instance-Aware Test Pruning for Out-of-Distribution Detection
- Title（参考訳）: ITP: アウト・オブ・ディストリビューション検出のためのインスタンス対応テスト実行
- Authors: Haonan Xu, Yang Yang,
- Abstract要約: Out-of-distriion (OOD) 検出は、現実世界のシナリオにおけるディープモデルの信頼性を保証するために不可欠である。
インスタンス認識テスト・プルーニング(ITP)と呼ばれるシンプルで効果的なポストホック法を提案する。
ITPは、粗粒度と粗粒度の両方を考慮し、OOD検出を行う。
- 参考スコア（独自算出の注目度）: 4.035215689271819
- License:
- Abstract: Out-of-distribution (OOD) detection is crucial for ensuring the reliable deployment of deep models in real-world scenarios. Recently, from the perspective of over-parameterization, a series of methods leveraging weight sparsification techniques have shown promising performance. These methods typically focus on selecting important parameters for in-distribution (ID) data to reduce the negative impact of redundant parameters on OOD detection. However, we empirically find that these selected parameters may behave overconfidently toward OOD data and hurt OOD detection. To address this issue, we propose a simple yet effective post-hoc method called Instance-aware Test Pruning (ITP), which performs OOD detection by considering both coarse-grained and fine-grained levels of parameter pruning. Specifically, ITP first estimates the class-specific parameter contribution distribution by exploring the ID data. By using the contribution distribution, ITP conducts coarse-grained pruning to eliminate redundant parameters. More importantly, ITP further adopts a fine-grained test pruning process based on the right-tailed Z-score test, which can adaptively remove instance-level overconfident parameters. Finally, ITP derives OOD scores from the pruned model to achieve more reliable predictions. Extensive experiments on widely adopted benchmarks verify the effectiveness of ITP, demonstrating its competitive performance.
- Abstract（参考訳）: Out-of-distriion (OOD) 検出は、現実世界のシナリオにおけるディープモデルの信頼性を保証するために不可欠である。
近年, 過パラメータ化の観点から, 重量分散技術を利用した一連の手法が有望な性能を示した。
これらの手法は一般的に、OOD検出に対する冗長パラメータの負の影響を低減するために、ID(In-distriion)データに対する重要なパラメータの選択に重点を置いている。
しかし、これらのパラメータはOODデータに対して過度に振る舞うことができ、OOD検出を損なう可能性がある。
この問題に対処するため、我々は、粗粒度と細粒度の両方のパラメータプルーニングを考慮し、OOD検出を行う、インスタンス対応テストプルーニング(ITP)と呼ばれるシンプルなポストホック法を提案する。
具体的には,IDデータを探索することにより,クラス固有のパラメータ寄与分布を推定する。
コントリビューション分布を用いることで、IPPは粗粒のプルーニングを行い、冗長パラメータを除去する。
さらに重要なことに、IPPは右尾のZスコアテストに基づいたきめ細かいテストプルーニングプロセスを採用しており、インスタンスレベルの過信パラメータを適応的に除去することができる。
最後に、IPPは、より信頼性の高い予測を達成するために、プルーンドモデルからOODスコアを導出する。
広く採用されているベンチマークに関する大規模な実験は、IPPの有効性を検証し、その競争性能を実証している。
関連論文リスト
- Self-Calibrated Tuning of Vision-Language Models for Out-of-Distribution Detection [24.557227100200215]
オープンソースアプリケーションに信頼性の高い機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
近年のCLIPによるOOD検出の進歩は,IDデータから抽出したOOD特徴に即時調整を施すことによって有望な結果を示した。
提案手法は,SCT(Self-Calibrated Tuning)と呼ばれる新しいフレームワークで,与えられた数ショットのIDデータのみを用いて効果的なOOD検出を行う。
論文 参考訳（メタデータ） (2024-11-05T02:29:16Z) - DSDE: Using Proportion Estimation to Improve Model Selection for Out-of-Distribution Detection [15.238164468992148]
CIFAR10とCIFAR100の実験結果から,OoD検出問題に対処するためのアプローチの有効性が示された。
提案手法をDOS-Storey-based Detector Ensemble (DSDE) と呼ぶ。
論文 参考訳（メタデータ） (2024-11-03T09:01:36Z) - Margin-bounded Confidence Scores for Out-of-Distribution Detection [2.373572816573706]
本稿では,非自明なOOD検出問題に対処するため,Margin bounded Confidence Scores (MaCS) と呼ばれる新しい手法を提案する。
MaCS は ID と OOD のスコアの差を拡大し、決定境界をよりコンパクトにする。
画像分類タスクのための様々なベンチマークデータセットの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-09-22T05:40:25Z) - Stratified Prediction-Powered Inference for Hybrid Language Model Evaluation [62.2436697657307]
予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。
我々はStratPPI(Stratified Prediction-Powered Inference)という手法を提案する。
単純なデータ階層化戦略を用いることで,基礎的なPPI推定精度を大幅に向上できることを示す。
論文 参考訳（メタデータ） (2024-06-06T17:37:39Z) - Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳（メタデータ） (2024-03-18T05:49:45Z) - Detecting Out-of-Distribution Samples via Conditional Distribution
Entropy with Optimal Transport [20.421338676377587]
トレーニングサンプルとテストインプットの両方から幾何情報を含む経験的確率分布は,OOD検出に極めて有用である。
最適輸送の枠組みの中では,OODサンプルであるテスト入力の不確かさを定量化するため,エントロピー(enmphconditional distribution entropy)と呼ばれる新しいスコア関数を提案する。
論文 参考訳（メタデータ） (2024-01-22T07:07:32Z) - Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。
Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。
複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
論文 参考訳（メタデータ） (2023-11-28T02:00:47Z) - Diffusion Denoising Process for Perceptron Bias in Out-of-distribution
Detection [67.49587673594276]
我々は、識別器モデルが入力の特定の特徴に対してより敏感であることを示唆する新しいパーセプトロンバイアスの仮定を導入し、過度な問題を引き起こした。
DMの拡散分解過程 (DDP) が非対称の新たな形態として機能し, 入力を高め, 過信問題を緩和するのに適していることを示す。
CIFAR10, CIFAR100, ImageNetによる実験により, 提案手法がSOTA手法より優れていることが示された。
論文 参考訳（メタデータ） (2022-11-21T08:45:08Z) - Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection [72.35532598131176]
我々は,$k$-NN 密度推定値を用いて OOD サンプルを検出する教師なし手法を提案する。
emphLabel Smoothed Embedding hypothesis と呼ばれるラベル平滑化に関する最近の知見を活用する。
提案手法は,多くのOODベースラインを上回り,新しい有限サンプル高確率統計結果を提供することを示す。
論文 参考訳（メタデータ） (2021-02-09T21:04:44Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。