論文の概要: ConjNorm: Tractable Density Estimation for Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2402.17888v1
• Date: Tue, 27 Feb 2024 21:02:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 17:03:04.396317
• Title: ConjNorm: Tractable Density Estimation for Out-of-Distribution Detection
• Title（参考訳）: ConjNorm: 分布外検出のためのトラクタブル密度推定
• Authors: Bo Peng, Yadan Luo, Yonggang Zhang, Yixuan Li, Zhen Fang
• Abstract要約: ポストホックアウト・オブ・ディストリビューション(OOD)検出は、信頼性の高い機械学習において大きな注目を集めている。 本稿では,密度に基づくスコア設計の統一的な視点を提供するために,Bregmanの発散に基づく理論的枠組みを提案する。 我々は,提案するtextscConjNormが,様々なOOD検出設定において,新たな最先端技術を確立したことを示す。
• 参考スコア（独自算出の注目度）: 41.41164637577005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-hoc out-of-distribution (OOD) detection has garnered intensive attention in reliable machine learning. Many efforts have been dedicated to deriving score functions based on logits, distances, or rigorous data distribution assumptions to identify low-scoring OOD samples. Nevertheless, these estimate scores may fail to accurately reflect the true data density or impose impractical constraints. To provide a unified perspective on density-based score design, we propose a novel theoretical framework grounded in Bregman divergence, which extends distribution considerations to encompass an exponential family of distributions. Leveraging the conjugation constraint revealed in our theorem, we introduce a \textsc{ConjNorm} method, reframing density function design as a search for the optimal norm coefficient $p$ against the given dataset. In light of the computational challenges of normalization, we devise an unbiased and analytically tractable estimator of the partition function using the Monte Carlo-based importance sampling technique. Extensive experiments across OOD detection benchmarks empirically demonstrate that our proposed \textsc{ConjNorm} has established a new state-of-the-art in a variety of OOD detection setups, outperforming the current best method by up to 13.25$\%$ and 28.19$\%$ (FPR95) on CIFAR-100 and ImageNet-1K, respectively.
• Abstract（参考訳）: ポストホックアウト・オブ・ディストリビューション(OOD)検出は、信頼性の高い機械学習において大きな注目を集めている。 ログ、距離、厳密なデータ分布の仮定に基づいてスコア関数を導出し、低スコアのOODサンプルを識別する。 それでもこれらの推定値は、真のデータ密度を正確に反映したり、非現実的な制約を課すことに失敗する可能性がある。 密度に基づくスコア設計の統一的な視点を提供するため, 分布の指数関数族を包含する分布の考察を拡張し, ブレグマン・ダイバージェンスに基づく新しい理論的枠組みを提案する。 定理で明らかにされた共役制約を活用して、与えられたデータセットに対して最適なノルム係数$p$の探索として密度関数設計をフレーミングする「textsc{ConjNorm} 法」を導入する。 正規化の計算課題を考慮し,モンテカルロを用いた重要サンプリング手法を用いて,分割関数の非バイアスで解析的に抽出可能な推定器を考案した。 OOD検出ベンチマークの広範な実験により、提案した \textsc{ConjNorm} が様々な OOD 検出設定において新しい最先端技術を確立し、CIFAR-100 と ImageNet-1K でそれぞれ 13.25$\%$ と 28.19$\%$ (FPR95) をそれぞれ上回ったことが実証された。

関連論文リスト

• MANO: Exploiting Matrix Norm for Unsupervised Accuracy Estimation Under Distribution Shifts [25.643876327918544]
  モデルのアウトプット、特にロジットを活用することは、トレーニング済みニューラルネットワークのテスト精度を、アウト・オブ・ディストリビューションのサンプルで推定する一般的なアプローチである。 実装の容易さと計算効率にもかかわらず、現在のロジットベースの手法は過信問題に弱いため、予測バイアスにつながる。 予測バイアスを低減するためにデータ依存正規化を適用したMaNoを提案し,正規化ロジットの行列の$L_p$ノルムを推定スコアとする。
  論文  参考訳（メタデータ） (2024-05-29T10:45:06Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
  我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。 Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。 複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:00:47Z)
• Topology-Matching Normalizing Flows for Out-of-Distribution Detection in Robot Learning [38.97407602443256]
  正規化フロー(NFs)を用いた密度推定に基づくOOD検出のための強力なアプローチ 本研究では,このトポロジ的ミスマッチを回避するために,情報理論の目的を学習した表現型クラス条件ベース分布を用いて,このトポロジ的ミスマッチを回避する。 本研究では, 密度推定と2次元物体検出ベンチマークにおいて, 広範囲なベースラインと比較して優れた結果を示す。
  論文  参考訳（メタデータ） (2023-11-11T05:09:31Z)
• Out-of-distribution Object Detection through Bayesian Uncertainty Estimation [10.985423935142832]
  OOD検出のための新しい,直感的で,スケーラブルなオブジェクト検出手法を提案する。 提案手法は,提案したガウス分布からの重みパラメータサンプリングにより,IDデータとOODデータを識別することができる。 BDD100kおよびVOCデータセットでトレーニングした場合,FPR95スコアを最大8.19%削減し,AUROCスコアを最大13.94%向上させることで,ベイズ対象検出器のOOD識別性能が良好であることを実証した。
  論文  参考訳（メタデータ） (2023-10-29T19:10:52Z)
• Out-of-Distribution Detection with Class Ratio Estimation [4.930817402876787]
  近年,OOD画像の検出作業において,密度に基づくアウト・オブ・ディストリビューション(OOD)検出は信頼性が低いことが示されている。 本稿では,エネルギーモデルを構築し,異なる基底分布を用いる新しい枠組みの下で,密度比に基づく手法を統合することを提案する。
  論文  参考訳（メタデータ） (2022-06-08T15:20:49Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection [72.35532598131176]
  我々は,$k$-NN 密度推定値を用いて OOD サンプルを検出する教師なし手法を提案する。 emphLabel Smoothed Embedding hypothesis と呼ばれるラベル平滑化に関する最近の知見を活用する。 提案手法は,多くのOODベースラインを上回り,新しい有限サンプル高確率統計結果を提供することを示す。
  論文  参考訳（メタデータ） (2021-02-09T21:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。