論文の概要: Out-of-Distribution Detection using Maximum Entropy Coding
- arxiv url: http://arxiv.org/abs/2404.17023v1
- Date: Thu, 25 Apr 2024 20:28:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 14:33:49.381502
- Title: Out-of-Distribution Detection using Maximum Entropy Coding
- Title(参考訳): 最大エントロピー符号化を用いたアウト・オブ・ディストリビューション検出
- Authors: Mojtaba Abolfazli, Mohammad Zaeri Amirani, Anders Høst-Madsen, June Zhang, Andras Bratincsak,
- Abstract要約: 離散分布について、決定的な答えは原理的にはランダムネスのコルモゴロフ=マルティン=Lによって与えられる。
我々は、双方向生成ネットワークを用いて、データを潜在空間の標準分布に変換し、そこで最大エントロピー符号化を使用する。
- 参考スコア(独自算出の注目度): 4.7768369720936255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a default distribution $P$ and a set of test data $x^M=\{x_1,x_2,\ldots,x_M\}$ this paper seeks to answer the question if it was likely that $x^M$ was generated by $P$. For discrete distributions, the definitive answer is in principle given by Kolmogorov-Martin-L\"{o}f randomness. In this paper we seek to generalize this to continuous distributions. We consider a set of statistics $T_1(x^M),T_2(x^M),\ldots$. To each statistic we associate its maximum entropy distribution and with this a universal source coder. The maximum entropy distributions are subsequently combined to give a total codelength, which is compared with $-\log P(x^M)$. We show that this approach satisfied a number of theoretical properties. For real world data $P$ usually is unknown. We transform data into a standard distribution in the latent space using a bidirectional generate network and use maximum entropy coding there. We compare the resulting method to other methods that also used generative neural networks to detect anomalies. In most cases, our results show better performance.
- Abstract(参考訳): デフォルトの$P$と一連のテストデータ$x^M=\{x_1,x_2,\ldots,x_M\}を与えられた場合、$x^M$が$P$で生成されたかどうかという疑問に答える。
離散分布について、決定的な答えは原理的にはコルモゴロフ=マルティン=L\"{o}f ランダム性によって与えられる。
本稿では,これを連続分布に一般化する。
統計の集合として$T_1(x^M),T_2(x^M),\ldots$を考える。
各統計量に対して、その最大エントロピー分布を関連付け、普遍的なソースコードコーダとする。
最大エントロピー分布は、合計符号長を与えるために結合され、$-\log P(x^M)$と比較される。
このアプローチは多くの理論的特性を満足していることが示される。
実世界のデータの場合、$P$は通常不明である。
我々は、双方向生成ネットワークを用いて、データを潜在空間の標準分布に変換し、そこで最大エントロピー符号化を使用する。
得られた手法を、生成ニューラルネットワークを用いて異常を検出する他の手法と比較する。
ほとんどの場合、私たちの結果はより良いパフォーマンスを示します。
関連論文リスト
- Robust Mean Estimation Without Moments for Symmetric Distributions [7.105512316884493]
大規模な対称分布に対して、ガウス的設定と同じ誤差を効率的に達成できることが示される。
この最適誤差にアプローチする効率的なアルゴリズムの列を提案する。
我々のアルゴリズムは、よく知られたフィルタリング手法の一般化に基づいている。
論文 参考訳(メタデータ) (2023-02-21T17:52:23Z) - Stochastic Approximation Approaches to Group Distributionally Robust
Optimization [96.26317627118912]
群分散ロバスト最適化(GDRO)
オンライン学習技術は、各ラウンドに必要なサンプル数をm$から1$に減らし、同じサンプルを保持する。
分布依存収束率を導出できる重み付きGDROの新規な定式化。
論文 参考訳(メタデータ) (2023-02-18T09:24:15Z) - Identity Testing for High-Dimensional Distributions via Entropy
Tensorization [4.370097023410272]
我々は,n$次元分布の同一性テスト問題に対して,改良されたアルゴリズムと,統計的および計算的下界の整合性を示す。
同一性テスト問題では、明示的な分布 $mu$, $varepsilon>0$, and access to a sample oracle for a hidden distribution $pi$ が与えられる。
エントロピーの近似テンソル化として知られる解析的性質が可視分布の$mu$に対して成り立つならば、$tildeO(n/vareps)を使用する隠された$pi$に対して効率的なアイデンティティテストアルゴリズムが存在することを証明している。
論文 参考訳(メタデータ) (2022-07-19T06:49:24Z) - Optimal Sublinear Sampling of Spanning Trees and Determinantal Point
Processes via Average-Case Entropic Independence [3.9586758145580014]
強いレイリー分布から繰り返しサンプリングする高速アルゴリズムを設計する。
グラフ $G=(V, E)$ に対して、$G$ in $widetildeO(lvert Vrvert)$ time per sample から一様にランダムに散らばる木を概算する方法を示す。
$n$要素の基底集合の$k$のサブセット上の決定的点プロセスに対して、$widetildeO(komega)$ time の最初の $widetildeO(nk) の後に、$widetildeO(komega)$ time のサンプルを概算する方法を示す。
論文 参考訳(メタデータ) (2022-04-06T04:11:26Z) - TURF: A Two-factor, Universal, Robust, Fast Distribution Learning
Algorithm [64.13217062232874]
最も強力で成功したモダリティの1つは、全ての分布を$ell$距離に近似し、基本的に最も近い$t$-piece次数-$d_$の少なくとも1倍大きい。
本稿では,この数値をほぼ最適に推定する手法を提案する。
論文 参考訳(メタデータ) (2022-02-15T03:49:28Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳(メタデータ) (2021-10-05T09:33:49Z) - Inductive Mutual Information Estimation: A Convex Maximum-Entropy Copula
Approach [0.5330240017302619]
我々は2つの順序ベクトルの相互情報をx$とy$で推定する新しい推定器を提案する。
我々は、制約が実現可能である限り、この問題は一意な解を認め、指数関数族であり、凸最適化問題を解くことによって学習できることを証明する。
提案手法は,偽試料のコプラのエントロピーを最大化することにより,ganのモード崩壊の軽減に有用であることを示す。
論文 参考訳(メタデータ) (2021-02-25T21:21:40Z) - Efficient Learning of Non-Interacting Fermion Distributions [5.254093731341154]
我々は、$O(m2 n4 log(m/delta)/ varepsilon4)$サンプルと$O(m4 n4 log(m/delta)/ varepsilon4)$時間で元の分布を全変動距離まで学習できることを示す。
本アルゴリズムは,1モードと2モードの相関を経験的に推定し,分布全体の簡潔な記述を効率的に再構成する。
論文 参考訳(メタデータ) (2021-02-20T22:16:40Z) - Optimal Testing of Discrete Distributions with High Probability [49.19942805582874]
高確率状態に着目して離散分布を試験する問題について検討する。
一定の要素でサンプル最適である近接性および独立性テストのための最初のアルゴリズムを提供する。
論文 参考訳(メタデータ) (2020-09-14T16:09:17Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳(メタデータ) (2020-06-12T10:21:40Z) - Locally Private Hypothesis Selection [96.06118559817057]
我々は、$mathcalQ$から$p$までの総変動距離が最良の分布に匹敵する分布を出力する。
局所的な差分プライバシーの制約は、コストの急激な増加を引き起こすことを示す。
提案アルゴリズムは,従来手法のラウンド複雑性を指数関数的に改善する。
論文 参考訳(メタデータ) (2020-02-21T18:30:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。