論文の概要: High-dimensional separability for one- and few-shot learning

• arxiv url: http://arxiv.org/abs/2106.15416v1
• Date: Mon, 28 Jun 2021 14:58:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-01 09:41:56.976223
• Title: High-dimensional separability for one- and few-shot learning
• Title（参考訳）: ワンショット学習のための高次元分離性
• Authors: Alexander N. Gorban, Bogdan Grechuk, Evgeny M. Mirkes, Sergey V. Stasenko, Ivan Y. Tyukin
• Abstract要約: この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。 特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。 AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
• 参考スコア（独自算出の注目度）: 58.8599521537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work is driven by a practical question, corrections of Artificial Intelligence (AI) errors. Systematic re-training of a large AI system is hardly possible. To solve this problem, special external devices, correctors, are developed. They should provide quick and non-iterative system fix without modification of a legacy AI system. A common universal part of the AI corrector is a classifier that should separate undesired and erroneous behavior from normal operation. Training of such classifiers is a grand challenge at the heart of the one- and few-shot learning methods. Effectiveness of one- and few-short methods is based on either significant dimensionality reductions or the blessing of dimensionality effects. Stochastic separability is a blessing of dimensionality phenomenon that allows one-and few-shot error correction: in high-dimensional datasets under broad assumptions each point can be separated from the rest of the set by simple and robust linear discriminant. The hierarchical structure of data universe is introduced where each data cluster has a granular internal structure, etc. New stochastic separation theorems for the data distributions with fine-grained structure are formulated and proved. Separation theorems in infinite-dimensional limits are proven under assumptions of compact embedding of patterns into data space. New multi-correctors of AI systems are presented and illustrated with examples of predicting errors and learning new classes of objects by a deep convolutional neural network.
• Abstract（参考訳）: この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。 大規模なAIシステムの体系的な再訓練はほとんど不可能である。 この問題を解決するため、特殊な外部装置、補正装置を開発した。 レガシーなAIシステムを変更することなく、迅速でイテレーティブなシステム修正を提供する必要がある。 ai補正器の一般的な普遍的な部分は、望ましくない振る舞いと誤った振る舞いを通常の操作から分離する分類器である。 このような分類器の訓練は、単発および少数発の学習方法の中心にある大きな課題である。 一短法と二短法の有効性は、重要な次元の縮小または次元効果の祝福に基づいている。 確率分離性(英: Stochastic separability)は、一点と二点の誤り訂正を可能にする次元的現象の祝福である:広い仮定の下での高次元データセットでは、各点を、単純で堅牢な線形判別式によって、集合の残りの部分から分離することができる。 データ・ユニバースの階層構造は、各データ・クラスタが粒状の内部構造等を有するように導入される。 微細な構造を持つデータ分布に対する新しい確率的分離定理を定式化し、証明する。 無限次元極限における分離定理は、データ空間へのパターンのコンパクト埋め込みの仮定の下で証明される。 AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。

関連論文リスト

• Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection [66.16595174895802]
  既存のAI生成画像(AIGI)検出手法は、しばしば限定的な一般化性能に悩まされる。 本稿では、AIGI検出において、これまで見過ごされてきた重要な非対称性現象を同定する。
  論文  参考訳（メタデータ） (2024-11-23T19:10:32Z)
• Identifiable Causal Representation Learning: Unsupervised, Multi-View, and Multi-Environment [10.814585613336778]
  因果表現学習は、機械学習のコアとなる強みと因果性を組み合わせることを目的としている。 この論文は、CRLが直接の監督なしに何が可能であるかを調査し、理論的基礎に寄与する。
  論文  参考訳（メタデータ） (2024-06-19T09:14:40Z)
• MLAD: A Unified Model for Multi-system Log Anomaly Detection [35.68387377240593]
  複数のシステムにまたがる意味的関係推論を組み込んだ新しい異常検出モデルMLADを提案する。 具体的には、Sentence-bertを用いてログシーケンス間の類似性を捉え、それらを高次元の学習可能な意味ベクトルに変換する。 我々は,各キーワードのシーケンスにおける意義を識別し,マルチシステムデータセットの全体分布をモデル化するために,アテンション層の公式を改訂する。
  論文  参考訳（メタデータ） (2024-01-15T12:51:13Z)
• The No Free Lunch Theorem, Kolmogorov Complexity, and the Role of Inductive Biases in Machine Learning [80.1018596899899]
  ニューラルネットワークモデルは、Kolmogorov複雑性を使って形式化された、同じ好みを共有している、と我々は主張する。 実験の結果、事前訓練された言語モデルでも、低複雑さのシーケンスを生成するのが好まれることがわかった。 これらの観察は、ますます小さな機械学習モデルで異なるように見える問題を統一する深層学習の傾向を正当化する。
  論文  参考訳（メタデータ） (2023-04-11T17:22:22Z)
• Interpretable Linear Dimensionality Reduction based on Bias-Variance Analysis [45.3190496371625]
  本稿では,特徴の解釈可能性を維持するための基本次元削減手法を提案する。 このように、全ての特徴を考慮し、次元性を減らし、解釈可能性を保持する。
  論文  参考訳（メタデータ） (2023-03-26T14:30:38Z)
• Who Should Predict? Exact Algorithms For Learning to Defer to Humans [40.22768241509553]
  従来の手法では,誤分類誤りの少ない人間-AIシステムを見つけることができなかった。 線形設定における問題を最適に解くことができるMILP(mixed-integer-linear-gramming)の定式化について述べる。 実現可能で,実証的にも良好に機能する新規な代理損失関数を提供する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:36Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• General stochastic separation theorems with optimal bounds [68.8204255655161]
  分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。 エラーやエラーのクラスタは、残りのデータから分離することができる。 AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
  論文  参考訳（メタデータ） (2020-10-11T13:12:41Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。