論文の概要: General stochastic separation theorems with optimal bounds
- arxiv url: http://arxiv.org/abs/2010.05241v2
- Date: Sat, 9 Jan 2021 19:10:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 12:48:07.144273
- Title: General stochastic separation theorems with optimal bounds
- Title（参考訳）: 最適境界を持つ一般確率的分離定理
- Authors: Bogdan Grechuk, Alexander N. Gorban, Ivan Y. Tyukin
- Abstract要約: 分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。
エラーやエラーのクラスタは、残りのデータから分離することができる。
AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
- 参考スコア（独自算出の注目度）: 68.8204255655161
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Phenomenon of stochastic separability was revealed and used in machine
learning to correct errors of Artificial Intelligence (AI) systems and analyze
AI instabilities. In high-dimensional datasets under broad assumptions each
point can be separated from the rest of the set by simple and robust Fisher's
discriminant (is Fisher separable). Errors or clusters of errors can be
separated from the rest of the data. The ability to correct an AI system also
opens up the possibility of an attack on it, and the high dimensionality
induces vulnerabilities caused by the same stochastic separability that holds
the keys to understanding the fundamentals of robustness and adaptivity in
high-dimensional data-driven AI. To manage errors and analyze vulnerabilities,
the stochastic separation theorems should evaluate the probability that the
dataset will be Fisher separable in given dimensionality and for a given class
of distributions. Explicit and optimal estimates of these separation
probabilities are required, and this problem is solved in present work. The
general stochastic separation theorems with optimal probability estimates are
obtained for important classes of distributions: log-concave distribution,
their convex combinations and product distributions. The standard i.i.d.
assumption was significantly relaxed. These theorems and estimates can be used
both for correction of high-dimensional data driven AI systems and for analysis
of their vulnerabilities. The third area of application is the emergence of
memories in ensembles of neurons, the phenomena of grandmother's cells and
sparse coding in the brain, and explanation of unexpected effectiveness of
small neural ensembles in high-dimensional brain.
- Abstract（参考訳）: 確率分離性の現象を明らかにし、機械学習を用いて人工知能(AI)システムのエラーを修正し、AI不安定性を分析する。
広い仮定の下での高次元データセットでは、単純でロバストなフィッシャーの判別によって、各点をセットの残りの部分から分離することができる(フィッシャーは分離可能である)。
エラーやエラーのクラスタは、残りのデータから分離することができる。
AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、高次元のデータ駆動型AIの堅牢性と適応性の基本を理解する鍵を保持する同じ確率的分離性によって引き起こされる脆弱性を誘発する。
誤差を管理し、脆弱性を分析するために、確率的分離定理は、データセットが与えられた次元と与えられた分布のクラスで分離可能である確率を評価するべきである。
これらの分離確率の明示的および最適推定が必要であり,本研究でこの問題を解決した。
確率推定を最適とする一般確率分離定理は、対数凹分布、凸結合、積分布といった重要な分布のクラスに対して得られる。
標準 i.d. 仮定は著しく緩和された。
これらの定理と推定は、高次元のデータ駆動型aiシステムの修正と脆弱性の分析の両方に使用できる。
第3の応用分野は、神経細胞のアンサンブルにおける記憶の出現、祖母の細胞の現象、脳内のスパースコーディング、高次元脳における小さなニューラルアンサンブルの予期せぬ有効性の説明である。
関連論文リスト
- Characteristic Circuits [26.223089423713486]
確率回路(PC)は、高次元の確率分布に単純でトラクタブルな分布を構成する。
スペクトル領域における異種データ上の分布を統一的に定式化する特性回路(CC)を導入する。
CCは、共通ベンチマークデータセット上での不均一なデータ領域に対する最先端密度推定器より優れていることを示す。
論文 参考訳（メタデータ） (2023-12-12T23:15:07Z) - Skew Probabilistic Neural Networks for Learning from Imbalanced Data [3.7892198600060945]
本稿では,確率論的ニューラルネットワーク(PNN)とスキュー正規確率カーネルを用いた不均衡なデータ指向手法を提案する。
我々はSkewPNNが、ほとんどの実験環境でバランスの取れたデータセットと不均衡なデータセットの両方に対して、最先端の機械学習手法を大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2023-12-10T13:12:55Z) - Distributed Variational Inference for Online Supervised Learning [15.038649101409804]
本稿では,スケーラブルな分散確率的推論アルゴリズムを提案する。
センサネットワークにおける連続変数、難解な後部データ、大規模リアルタイムデータに適用できる。
論文 参考訳（メタデータ） (2023-09-05T22:33:02Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳（メタデータ） (2023-06-04T02:32:12Z) - High-dimensional separability for one- and few-shot learning [58.8599521537]
この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。
特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。
AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
論文 参考訳（メタデータ） (2021-06-28T14:58:14Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Unifying supervised learning and VAEs -- coverage, systematics and
goodness-of-fit in normalizing-flow based neural network models for
astro-particle reconstructions [0.0]
統計的不確実性、包括性、体系的不確実性、あるいは適度な尺度はしばしば計算されない。
データとラベルの共分散のKL分割の目的は、教師付き学習と変分オートエンコーダの統合を可能にすることを示す。
本稿では,特定の「基本順序」輪郭の数値積分を伴わずにカバレッジ確率を計算する方法について論じる。
論文 参考訳（メタデータ） (2020-08-13T11:28:57Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。