論文の概要: Entropic Issues in Likelihood-Based OOD Detection

• arxiv url: http://arxiv.org/abs/2109.10794v1
• Date: Wed, 22 Sep 2021 15:32:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-23 13:54:17.546506
• Title: Entropic Issues in Likelihood-Based OOD Detection
• Title（参考訳）: 嗜好に基づくOOD検出におけるエントロピー問題
• Authors: Anthony L. Caterini, Gabriel Loaiza-Ganem
• Abstract要約: 平均確率をKLの発散項とエントロピー項に分解する。 後者は興味深いOODの振る舞いを説明でき、高いエントロピーを持つデータセットの確率を抑えることができると論じる。 この分析は、問題のあるエントロピー項が期待通りにキャンセルされるため、可能性比に基づくOOD検出手法の成功をさらに説明する。
• 参考スコア（独自算出の注目度）: 16.625272434920078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep generative models trained by maximum likelihood remain very popular methods for reasoning about data probabilistically. However, it has been observed that they can assign higher likelihoods to out-of-distribution (OOD) data than in-distribution data, thus calling into question the meaning of these likelihood values. In this work we provide a novel perspective on this phenomenon, decomposing the average likelihood into a KL divergence term and an entropy term. We argue that the latter can explain the curious OOD behaviour mentioned above, suppressing likelihood values on datasets with higher entropy. Although our idea is simple, we have not seen it explored yet in the literature. This analysis provides further explanation for the success of OOD detection methods based on likelihood ratios, as the problematic entropy term cancels out in expectation. Finally, we discuss how this observation relates to recent success in OOD detection with manifold-supported models, for which the above decomposition does not hold.
• Abstract（参考訳）: 最大確率で訓練された深層生成モデルは、確率的にデータを推論するための非常に一般的な方法である。 しかし、分布外データ(OOD)は分布内データよりも高い確率を割り当てることができることが観察されており、これらの確率値の意味を疑問視している。 本研究では,この現象に対する新しい視点を示し,平均的確率をkl発散項とエントロピー項に分解する。 後者は、上述した奇妙なOOD挙動を説明し、高いエントロピーを持つデータセットの確率値を抑制することができる。 私たちのアイデアは単純ですが、文献ではまだ探索されていません。 本解析は,問題となるエントロピー項が期待値から外れるので,確率比に基づくood検出手法の成功のさらなる説明を提供する。 最後に, この観測が, 上記の分解が保たない多様体モデルによるOOD検出の最近の成功とどのように関係しているかを論じる。

関連論文リスト

• Resultant: Incremental Effectiveness on Likelihood for Unsupervised Out-of-Distribution Detection [63.93728560200819]
  unsupervised out-of-distribution (U-OOD) は、未表示のin-distriion(ID)データのみに基づいて訓練された検出器でデータサンプルを識別することである。 近年の研究は、DGMに基づく様々な検出器を開発し、可能性を超えて移動している。 本研究では,各方向,特にポストホック前とデータセットエントロピー・ミューチュアルキャリブレーションの2つの手法を適用した。 実験の結果、結果が新しい最先端のU-OOD検出器になる可能性が示された。
  論文  参考訳（メタデータ） (2024-09-05T02:58:13Z)
• Estimating Causal Effects from Learned Causal Networks [56.14597641617531]
  本稿では、離散可観測変数に対する因果影響クエリに応答する代替パラダイムを提案する。 観測データから直接因果ベイズネットワークとその共起潜伏変数を学習する。 本手法は, 推定手法よりも有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-26T08:39:09Z)
• A Geometric Explanation of the Likelihood OOD Detection Paradox [19.205693812937422]
  最小の確率質量を含む場合、高次領域は生成されないことを示す。 本稿では,事前訓練したDGMから得られた可能性とLID推定値とをペアリングするOOD検出手法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T18:02:49Z)
• Principled Knowledge Extrapolation with GANs [92.62635018136476]
  我々は,知識外挿の新たな視点から,対実合成を研究する。 本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。 提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
  論文  参考訳（メタデータ） (2022-05-21T08:39:42Z)
• Understanding Failures in Out-of-Distribution Detection with Deep Generative Models [22.11487118547924]
  アウト・ディストリビューションが関係する仮定なしでは、ランダムな確率を超える性能を保証する方法が存在しないことを実証する。 イン・ディストリビューションとアウト・ディストリビューションのオーバーラップを想定した上で,その影響を強調した。 以上の結果から, 推定誤差は, 可能性に基づくOOD検出と利害分布の相違よりも, より妥当な説明であることが示唆された。
  論文  参考訳（メタデータ） (2021-07-14T18:00:11Z)
• A statistical theory of out-of-distribution detection [26.928175726673615]
  本稿では,データキュレーションへの接続を利用して分布外データを検出するための原則的手法を提案する。 データキュレーションでは、データセットから曖昧または分類が難しい入力ポイントを除外し、これらの除外ポイントは定義OODです。 したがって、データキュレーションの原理的生成モデルを用いて、OOD点の確率を得ることができる。
  論文  参考訳（メタデータ） (2021-02-24T12:35:43Z)
• Perfect density models cannot guarantee anomaly detection [9.64157020816848]
  本稿では,分布密度の挙動を概観し,これらの量に従来考えられていたよりも意味のある情報が少ないことを示す。 分布の検出にこれらの可能性を使用することは、強く暗黙的な仮説に依存すると結論づけます。
  論文  参考訳（メタデータ） (2020-12-07T15:50:11Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Density of States Estimation for Out-of-Distribution Detection [69.90130863160384]
  DoSEは状態推定器の密度である。 我々は、他の教師なしOOD検出器に対するDoSEの最先端性能を実証する。
  論文  参考訳（メタデータ） (2020-06-16T16:06:25Z)
• Maximizing Information Gain in Partially Observable Environments via Prediction Reward [64.24528565312463]
  本稿では,深いRLエージェントに対する信念に基づく報酬の活用という課題に取り組む。 負のエントロピーと予測される予測報酬の正確な誤差を導出する。 この洞察は、予測報酬を用いたいくつかの分野の理論的動機を与える。
  論文  参考訳（メタデータ） (2020-05-11T08:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。