論文の概要: Out-of-Distribution Detection using Maximum Entropy Coding
- arxiv url: http://arxiv.org/abs/2404.17023v1
- Date: Thu, 25 Apr 2024 20:28:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 14:33:49.381502
- Title: Out-of-Distribution Detection using Maximum Entropy Coding
- Title（参考訳）: 最大エントロピー符号化を用いたアウト・オブ・ディストリビューション検出
- Authors: Mojtaba Abolfazli, Mohammad Zaeri Amirani, Anders Høst-Madsen, June Zhang, Andras Bratincsak,
- Abstract要約: 離散分布について、決定的な答えは原理的にはランダムネスのコルモゴロフ=マルティン=Lによって与えられる。
我々は、双方向生成ネットワークを用いて、データを潜在空間の標準分布に変換し、そこで最大エントロピー符号化を使用する。
- 参考スコア（独自算出の注目度）: 4.7768369720936255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a default distribution $P$ and a set of test data $x^M=\{x_1,x_2,\ldots,x_M\}$ this paper seeks to answer the question if it was likely that $x^M$ was generated by $P$. For discrete distributions, the definitive answer is in principle given by Kolmogorov-Martin-L\"{o}f randomness. In this paper we seek to generalize this to continuous distributions. We consider a set of statistics $T_1(x^M),T_2(x^M),\ldots$. To each statistic we associate its maximum entropy distribution and with this a universal source coder. The maximum entropy distributions are subsequently combined to give a total codelength, which is compared with $-\log P(x^M)$. We show that this approach satisfied a number of theoretical properties. For real world data $P$ usually is unknown. We transform data into a standard distribution in the latent space using a bidirectional generate network and use maximum entropy coding there. We compare the resulting method to other methods that also used generative neural networks to detect anomalies. In most cases, our results show better performance.
- Abstract（参考訳）: デフォルトの$P$と一連のテストデータ$x^M=\{x_1,x_2,\ldots,x_M\}を与えられた場合、$x^M$が$P$で生成されたかどうかという疑問に答える。
離散分布について、決定的な答えは原理的にはコルモゴロフ=マルティン=L\"{o}f ランダム性によって与えられる。
本稿では,これを連続分布に一般化する。
統計の集合として$T_1(x^M),T_2(x^M),\ldots$を考える。
各統計量に対して、その最大エントロピー分布を関連付け、普遍的なソースコードコーダとする。
最大エントロピー分布は、合計符号長を与えるために結合され、$-\log P(x^M)$と比較される。
このアプローチは多くの理論的特性を満足していることが示される。
実世界のデータの場合、$P$は通常不明である。
我々は、双方向生成ネットワークを用いて、データを潜在空間の標準分布に変換し、そこで最大エントロピー符号化を使用する。
得られた手法を、生成ニューラルネットワークを用いて異常を検出する他の手法と比較する。
ほとんどの場合、私たちの結果はより良いパフォーマンスを示します。
関連論文リスト
- Uniformity testing when you have the source code [16.232881331802687]
古典回路や量子回路の出力確率分布の特性を検証するための量子アルゴリズムについて検討する。
出力分布が全変動距離から$[d]$または$epsilon$-farで均一であるかどうかを決定する。
論文 参考訳（メタデータ） (2024-11-07T18:48:29Z) - Dimension-free Private Mean Estimation for Anisotropic Distributions [55.86374912608193]
以前の$mathRd上の分布に関する民間推定者は、次元性の呪いに苦しむ。
本稿では,サンプルの複雑さが次元依存性を改善したアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-01T17:59:53Z) - Statistical-Computational Trade-offs for Density Estimation [60.81548752871115]
幅広い種類のデータ構造に対して、それらの境界は著しく改善されないことを示す。
これは密度推定のための新しい統計計算トレードオフである。
論文 参考訳（メタデータ） (2024-10-30T15:03:33Z) - Testing Identity of Distributions under Kolmogorov Distance in Polylogarithmic Space [1.2277343096128712]
本稿では、ストリーミング設定において、空間$O(log4 varepsilon-1)$を使用するアルゴリズムを提供する。
また、私たちは9つの関連するオープンな問題を述べ、それと関連した問題への関心を喚起することを望んでいます。
論文 参考訳（メタデータ） (2024-10-29T15:24:27Z) - Robust Mean Estimation Without Moments for Symmetric Distributions [7.105512316884493]
大規模な対称分布に対して、ガウス的設定と同じ誤差を効率的に達成できることが示される。
この最適誤差にアプローチする効率的なアルゴリズムの列を提案する。
我々のアルゴリズムは、よく知られたフィルタリング手法の一般化に基づいている。
論文 参考訳（メタデータ） (2023-02-21T17:52:23Z) - Optimal Sublinear Sampling of Spanning Trees and Determinantal Point
Processes via Average-Case Entropic Independence [3.9586758145580014]
強いレイリー分布から繰り返しサンプリングする高速アルゴリズムを設計する。
グラフ $G=(V, E)$ に対して、$G$ in $widetildeO(lvert Vrvert)$ time per sample から一様にランダムに散らばる木を概算する方法を示す。
$n$要素の基底集合の$k$のサブセット上の決定的点プロセスに対して、$widetildeO(komega)$ time の最初の $widetildeO(nk) の後に、$widetildeO(komega)$ time のサンプルを概算する方法を示す。
論文 参考訳（メタデータ） (2022-04-06T04:11:26Z) - TURF: A Two-factor, Universal, Robust, Fast Distribution Learning
Algorithm [64.13217062232874]
最も強力で成功したモダリティの1つは、全ての分布を$ell$距離に近似し、基本的に最も近い$t$-piece次数-$d_$の少なくとも1倍大きい。
本稿では,この数値をほぼ最適に推定する手法を提案する。
論文 参考訳（メタデータ） (2022-02-15T03:49:28Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Inductive Mutual Information Estimation: A Convex Maximum-Entropy Copula
Approach [0.5330240017302619]
我々は2つの順序ベクトルの相互情報をx$とy$で推定する新しい推定器を提案する。
我々は、制約が実現可能である限り、この問題は一意な解を認め、指数関数族であり、凸最適化問題を解くことによって学習できることを証明する。
提案手法は,偽試料のコプラのエントロピーを最大化することにより,ganのモード崩壊の軽減に有用であることを示す。
論文 参考訳（メタデータ） (2021-02-25T21:21:40Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z) - Locally Private Hypothesis Selection [96.06118559817057]
我々は、$mathcalQ$から$p$までの総変動距離が最良の分布に匹敵する分布を出力する。
局所的な差分プライバシーの制約は、コストの急激な増加を引き起こすことを示す。
提案アルゴリズムは,従来手法のラウンド複雑性を指数関数的に改善する。
論文 参考訳（メタデータ） (2020-02-21T18:30:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。