論文の概要: Improved Estimation of Concentration Under $\ell_p$-Norm Distance
Metrics Using Half Spaces
- arxiv url: http://arxiv.org/abs/2103.12913v1
- Date: Wed, 24 Mar 2021 01:16:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-25 14:12:10.074218
- Title: Improved Estimation of Concentration Under $\ell_p$-Norm Distance
Metrics Using Half Spaces
- Title(参考訳): 半空間を用いた$\ell_p$-norm距離測定による濃度推定の改善
- Authors: Jack Prescott, Xiao Zhang, David Evans
- Abstract要約: 測定の集中は、敵の脆弱性の根本的な原因であると議論されている。
本稿では,実験データセットの濃度を$ell_p$-norm距離で推定する手法を提案する。
提案アルゴリズムはMahloujifar et alよりも効率的です。
合成データセットと画像ベンチマークに関する我々の実験は、より厳密な内在的堅牢性境界を見つけることができることを示した。
- 参考スコア(独自算出の注目度): 14.947511752748005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Concentration of measure has been argued to be the fundamental cause of
adversarial vulnerability. Mahloujifar et al. presented an empirical way to
measure the concentration of a data distribution using samples, and employed it
to find lower bounds on intrinsic robustness for several benchmark datasets.
However, it remains unclear whether these lower bounds are tight enough to
provide a useful approximation for the intrinsic robustness of a dataset. To
gain a deeper understanding of the concentration of measure phenomenon, we
first extend the Gaussian Isoperimetric Inequality to non-spherical Gaussian
measures and arbitrary $\ell_p$-norms ($p \geq 2$). We leverage these
theoretical insights to design a method that uses half-spaces to estimate the
concentration of any empirical dataset under $\ell_p$-norm distance metrics.
Our proposed algorithm is more efficient than Mahloujifar et al.'s, and our
experiments on synthetic datasets and image benchmarks demonstrate that it is
able to find much tighter intrinsic robustness bounds. These tighter estimates
provide further evidence that rules out intrinsic dataset concentration as a
possible explanation for the adversarial vulnerability of state-of-the-art
classifiers.
- Abstract(参考訳): 測定の集中は、敵の脆弱性の根本的な原因であると主張している。
mahlojifarとal。
サンプルを使ってデータ分布の集中度を測定する実験的な方法を示し、いくつかのベンチマークデータセットで本質的ロバスト性に関する低い境界を見つけるためにそれを用いた。
しかし、これらの下限がデータセットの固有ロバスト性に有用な近似を与えるのに十分であるかどうかは不明である。
測度現象の濃度をより深く理解するために、まずガウス等度不等式を非球面的ガウス測度と任意の$\ell_p$-norms (p \geq 2$) に拡張する。
これらの理論的知見を活かして,半空間を用いて任意の経験的データセットの濃度を$\ell_p$-norm距離メトリクスで推定する手法を設計する。
提案アルゴリズムはmahloujifarらよりも効率的である。
合成データセットと画像ベンチマークの実験は、より厳密な内在的堅牢性境界を見つけることができることを示した。
これらのより厳密な見積もりは、最先端の分類器の敵対的脆弱性の説明として本質的なデータセットの濃度を規定するさらなる証拠を提供する。
関連論文リスト
- ConjNorm: Tractable Density Estimation for Out-of-Distribution Detection [41.41164637577005]
ポストホックアウト・オブ・ディストリビューション(OOD)検出は、信頼性の高い機械学習において大きな注目を集めている。
本稿では,密度に基づくスコア設計の統一的な視点を提供するために,Bregmanの発散に基づく理論的枠組みを提案する。
我々は,提案するtextscConjNormが,様々なOOD検出設定において,新たな最先端技術を確立したことを示す。
論文 参考訳(メタデータ) (2024-02-27T21:02:47Z) - Pessimistic Minimax Value Iteration: Provably Efficient Equilibrium
Learning from Offline Datasets [101.5329678997916]
両プレイヤーゼロサムマルコフゲーム(MG)をオフライン環境で研究する。
目標は、事前収集されたデータセットに基づいて、近似的なナッシュ均衡(NE)ポリシーペアを見つけることである。
論文 参考訳(メタデータ) (2022-02-15T15:39:30Z) - Nystr\"om Kernel Mean Embeddings [92.10208929236826]
Nystr"om法に基づく効率的な近似手法を提案する。
サブサンプルサイズの条件は標準の$n-1/2$レートを得るのに十分である。
本稿では,この結果の最大誤差と二次規則の近似への応用について論じる。
論文 参考訳(メタデータ) (2022-01-31T08:26:06Z) - Uniform Concentration Bounds toward a Unified Framework for Robust
Clustering [21.789311405437573]
センターベースのクラスタリングの最近の進歩は、ロイドの有名な$k$-meansアルゴリズムの欠点によって改善され続けている。
様々な手法は、ローカル・ミニマ(英語版)の貧弱さ、異常値に対する感度、ユークリッドの対応に適さないデータに対処しようとする。
本稿では,一般的な相似性尺度に基づく中心クラスタリングのための密結合型ロバストフレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-27T03:43:44Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - Density-Based Clustering with Kernel Diffusion [59.4179549482505]
単位$d$次元ユークリッド球のインジケータ関数に対応するナイーブ密度は、密度に基づくクラスタリングアルゴリズムで一般的に使用される。
局所分布特性と滑らかさの異なるデータに適応する新しいカーネル拡散密度関数を提案する。
論文 参考訳(メタデータ) (2021-10-11T09:00:33Z) - Featurized Density Ratio Estimation [82.40706152910292]
本研究では,2つの分布を推定前の共通特徴空間にマッピングするために,可逆生成モデルを活用することを提案する。
この偉業化は、学習された入力空間の密度比が任意に不正確な場合、潜在空間において密度が密接な関係をもたらす。
同時に、特徴写像の可逆性は、特徴空間で計算された比が入力空間で計算された比と同値であることを保証する。
論文 参考訳(メタデータ) (2021-07-05T18:30:26Z) - Distributionally Robust Local Non-parametric Conditional Estimation [22.423052432220235]
非パラメトリックな局所推定を生成する分布安定な新しい推定器を提案する。
一般には難解であるにもかかわらず、局所推定器は凸最適化によって効率的に見つけることができることを示す。
合成およびMNISTデータセットを用いた実験は、この新しいクラスの推定器の競合性能を示している。
論文 参考訳(メタデータ) (2020-10-12T00:11:17Z) - Nonparametric Density Estimation from Markov Chains [68.8204255655161]
我々はマルコフ・チェインにインスパイアされた新しい非パラメトリック密度推定器を導入し、よく知られたケルネル密度推定器を一般化する。
我々の推定器は, 通常のものに対していくつかの利点を示し, 全密度アルゴリズムの基盤として容易に利用できる。
論文 参考訳(メタデータ) (2020-09-08T18:33:42Z) - Robust Kernel Density Estimation with Median-of-Means principle [0.0]
一般的なカーネル密度推定法と中間平均原理(MoM-KDE)を組み合わせたロバストな非パラメトリック密度推定器を導入する。
この推定器は, 対向汚染の場合であっても, 任意の異常データに対して頑健性を達成することが示されている。
論文 参考訳(メタデータ) (2020-06-30T08:01:07Z) - Generalization Bounds in the Presence of Outliers: a Median-of-Means
Study [8.905677748354364]
Median-of-Means (MoM) は平方可積分 r.v.$Z$ の平均$theta$ の推定量である。
ヘビーテールのデータに対する高い信頼性のおかげで、MoMは機械学習に様々な応用を見出した。
新たな作業ラインは、MoMが破損したデータに対処する能力を特徴付け、活用しようとしている。
論文 参考訳(メタデータ) (2020-06-09T13:21:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。