論文の概要: Mitigating the Likelihood Paradox in Flow-based OOD Detection via Entropy Manipulation
- arxiv url: http://arxiv.org/abs/2602.09581v1
- Date: Tue, 10 Feb 2026 09:31:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-11 20:17:43.473974
- Title: Mitigating the Likelihood Paradox in Flow-based OOD Detection via Entropy Manipulation
- Title(参考訳): エントロピー操作によるフローベースOOD検出における類似パラドックスの緩和
- Authors: Donghwan Kim, Hyunsoo Yoon,
- Abstract要約: エントロピー制御は,分布内とOODサンプル間の対数類似のギャップを増大させ,分布内を優先する。
提案手法は,標準ベンチマークを用いた可能性に基づくOOD検出器に対して評価し,ベースラインよりも一貫したAUROCの改良を見出した。
- 参考スコア(独自算出の注目度): 24.066271161451425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep generative models that can tractably compute input likelihoods, including normalizing flows, often assign unexpectedly high likelihoods to out-of-distribution (OOD) inputs. We mitigate this likelihood paradox by manipulating input entropy based on semantic similarity, applying stronger perturbations to inputs that are less similar to an in-distribution memory bank. We provide a theoretical analysis showing that entropy control increases the expected log-likelihood gap between in-distribution and OOD samples in favor of the in-distribution, and we explain why the procedure works without any additional training of the density model. We then evaluate our method against likelihood-based OOD detectors on standard benchmarks and find consistent AUROC improvements over baselines, supporting our explanation.
- Abstract(参考訳): 流れの正規化を含む入力確率を牽引的に計算できる深層生成モデルは、しばしば予期せぬ高い確率をアウト・オブ・ディストリビューション(OOD)入力に割り当てる。
我々は,この可能性のパラドックスを,意味的類似性に基づく入力エントロピーの操作により緩和し,分布内メモリバンクに類似しない入力に強い摂動を適用する。
本研究では, エントロピー制御により, 分布内とOODサンプル間の対数的ギャップが増大し, 分布内とOODサンプルとの差が増大することを示す理論的解析を行った。
そこで,本手法を標準ベンチマークで評価し,基準値よりも一貫したAUROCの改良が得られた。
関連論文リスト
- MANO: Exploiting Matrix Norm for Unsupervised Accuracy Estimation Under Distribution Shifts [25.643876327918544]
モデルのアウトプット、特にロジットを活用することは、トレーニング済みニューラルネットワークのテスト精度を、アウト・オブ・ディストリビューションのサンプルで推定する一般的なアプローチである。
実装の容易さと計算効率にもかかわらず、現在のロジットベースの手法は過信問題に弱いため、予測バイアスにつながる。
予測バイアスを低減するためにデータ依存正規化を適用したMaNoを提案し,正規化ロジットの行列の$L_p$ノルムを推定スコアとする。
論文 参考訳(メタデータ) (2024-05-29T10:45:06Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳(メタデータ) (2023-11-01T12:17:05Z) - Robustness to Spurious Correlations Improves Semantic
Out-of-Distribution Detection [24.821151013905865]
画像入力のアウト・オブ・ディストリビューション(OOD)検出のための有望なアプローチとして,予測モデルの出力や特徴表現を利用する手法が登場した。
SN-OOD検出の故障について説明し、その対策としてニュアンス対応のOOD検出を提案する。
論文 参考訳(メタデータ) (2023-02-08T15:28:33Z) - Matching Normalizing Flows and Probability Paths on Manifolds [57.95251557443005]
連続正規化フロー (Continuous Normalizing Flows, CNFs) は、常微分方程式(ODE)を解くことによって、先行分布をモデル分布に変換する生成モデルである。
我々は,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,CNFを訓練することを提案する。
PPDの最小化によって得られたCNFは、既存の低次元多様体のベンチマークにおいて、その可能性とサンプル品質が得られることを示す。
論文 参考訳(メタデータ) (2022-07-11T08:50:19Z) - Resampling Base Distributions of Normalizing Flows [0.0]
学習された拒絶サンプリングに基づいて,フローを正規化するためのベース分布を導入する。
ログライクリフの最大化と逆Kulback-Leibler分散の最適化の両方を用いて、適切な学習アルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-10-29T14:44:44Z) - Understanding Failures in Out-of-Distribution Detection with Deep
Generative Models [22.11487118547924]
アウト・ディストリビューションが関係する仮定なしでは、ランダムな確率を超える性能を保証する方法が存在しないことを実証する。
イン・ディストリビューションとアウト・ディストリビューションのオーバーラップを想定した上で,その影響を強調した。
以上の結果から, 推定誤差は, 可能性に基づくOOD検出と利害分布の相違よりも, より妥当な説明であることが示唆された。
論文 参考訳(メタデータ) (2021-07-14T18:00:11Z) - Comparing Probability Distributions with Conditional Transport [63.11403041984197]
新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。
ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。
さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
論文 参考訳(メタデータ) (2020-12-28T05:14:22Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳(メタデータ) (2020-12-05T17:30:35Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳(メタデータ) (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。