論文の概要: Stochastic functional analysis with applications to robust machine learning

• arxiv url: http://arxiv.org/abs/2110.01729v1
• Date: Mon, 4 Oct 2021 22:01:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-10-06 14:22:40.552782
• Title: Stochastic functional analysis with applications to robust machine learning
• Title（参考訳）: 確率関数解析とロバスト機械学習への応用
• Authors: Julio Enrique Castrillon-Candas, Dingning Liu, Mark Kon
• Abstract要約: 本稿では,KL(Karhunen-Lo'eve)拡張を用いて,入力データの基本的な振る舞いを特定するための新しい特徴セットを紹介する。 これらの特徴は、異常検出のための最近の機能データ分析(FDA)理論から構築されている。 本研究では, 固有クラスの共分散構造を十分に正確に推定することにより, 鋭い分類が得られることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well-known that machine learning protocols typically under-utilize information on the probability distributions of feature vectors and related data, and instead directly compute regression or classification functions of feature vectors. In this paper we introduce a set of novel features for identifying underlying stochastic behavior of input data using the Karhunen-Lo\'{e}ve (KL) expansion, where classification is treated as detection of anomalies from a (nominal) signal class. These features are constructed from the recent Functional Data Analysis (FDA) theory for anomaly detection. The related signal decomposition is an exact hierarchical tensor product expansion with known optimality properties for approximating stochastic processes (random fields) with finite dimensional function spaces. In principle these primary low dimensional spaces can capture most of the stochastic behavior of `underlying signals' in a given nominal class, and can reject signals in alternative classes as stochastic anomalies. Using a hierarchical finite dimensional KL expansion of the nominal class, a series of orthogonal nested subspaces is constructed for detecting anomalous signal components. Projection coefficients of input data in these subspaces are then used to train an ML classifier. However, due to the split of the signal into nominal and anomalous projection components, clearer separation surfaces of the classes arise. In fact we show that with a sufficiently accurate estimation of the covariance structure of the nominal class, a sharp classification can be obtained. We carefully formulate this concept and demonstrate it on a number of high-dimensional datasets in cancer diagnostics. This method leads to a significant increase in precision and accuracy over the current top benchmarks for the Global Cancer Map (GCM) gene expression network dataset.
• Abstract（参考訳）: 機械学習のプロトコルは通常、特徴ベクトルと関連するデータの確率分布に関する情報を過小に活用し、代わりに特徴ベクトルの回帰関数や分類関数を直接計算する。 本稿では,カルフネン-lo\'{e}ve (kl) 展開を用いて入力データの確率的挙動を同定する新しい特徴について紹介する。 これらの特徴は、異常検出のための最近の機能データ分析(FDA)理論から構築されている。 関連する信号分解は、有限次元函数空間を持つ確率過程(ランダム場)を近似するための既知の最適性を持つ正確な階層的テンソル積展開である。 原則として、これらの主低次元空間は与えられた名目クラスにおける'アンダーライジング信号'の確率的挙動のほとんどを捉え、確率的異常として代替クラスにおける信号を削除することができる。 名目クラスの階層的有限次元KL展開を用いて、異常信号成分を検出するために一連の直交ネスト付き部分空間を構築する。 これらの部分空間における入力データの投影係数はML分類器の訓練に使用される。 しかし、信号が名目および異常な射影成分に分割されるため、クラスのより明確な分離面が生じる。 実際、名目クラスの共分散構造を十分に正確に推定することで、鋭い分類が得られることを示す。 私たちはこの概念を慎重に定式化し、がん診断の多くの高次元データセットで示します。 この方法では,GCM(Global Cancer Map)遺伝子発現ネットワークデータセットの現在のトップベンチマークよりも精度と精度が大幅に向上する。

関連論文リスト

• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
  本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。 我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-10-22T04:06:44Z)
• Hodge-Aware Contrastive Learning [101.56637264703058]
  単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。 我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2023-09-14T00:40:07Z)
• Extension of Transformational Machine Learning: Classification Problems [0.0]
  本研究では、薬物発見における変換機械学習(TML)の適用と性能について検討する。 メタ学習アルゴリズムであるTMLは、さまざまなドメインにまたがる共通属性の活用に優れています。 薬物発見プロセスは複雑で時間を要するが、予測精度の増大から大きな恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-08-07T07:34:18Z)
• Exploring the Space of Key-Value-Query Models with Intention [8.585795909956726]
  Attentionの2つの重要なコンポーネントは、入力の構造(キー、値、クエリで構成される)と、これら3つを組み合わせる計算である。 KVQ(Keys-Values-Queries)空間と呼ぶ。 我々のゴールは、注意が効率的に近似できないKVQ空間に他の積み重ね可能なモデルが存在するかどうかを決定することである。
  論文  参考訳（メタデータ） (2023-05-17T13:25:57Z)
• Random Smoothing Regularization in Kernel Gradient Descent Learning [24.383121157277007]
  古典的ソボレフ空間に属する幅広い基底真理関数を適応的に学習できるランダムなスムーズな正規化のための枠組みを提案する。 我々の推定器は、基礎となるデータの構造的仮定に適応し、次元の呪いを避けることができる。
  論文  参考訳（メタデータ） (2023-05-05T13:37:34Z)
• Sharp-SSL: Selective high-dimensional axis-aligned random projections for semi-supervised learning [16.673022545571566]
  本稿では,高次元半教師付き学習問題に対する新しい手法を提案する。 これは、データの多くの軸方向のランダムな投影に適用される低次元プロシージャの結果の慎重な集約に基づいている。
  論文  参考訳（メタデータ） (2023-04-18T17:49:02Z)
• Learning to Bound Counterfactual Inference in Structural Causal Models from Observational and Randomised Data [64.96984404868411]
  我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。 新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。 反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
  論文  参考訳（メタデータ） (2022-12-06T12:42:11Z)
• Factorization Approach for Sparse Spatio-Temporal Brain-Computer Interface [17.85507707727557]
  脳波信号の分解により,スパース条件下での豊かで決定的な特徴を抽出できることを示す。 単腕運動画像データセットを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-06-17T00:30:43Z)
• Subspace clustering in high-dimensions: Phase transitions \& Statistical-to-Computational gap [24.073221004661427]
  部分空間クラスタリングを研究するための単純なモデルは、高次元の$k$-ガウス混合モデルである。 広帯域な高次元状態における統計的に最適な再構成誤差を正確に評価する。
  論文  参考訳（メタデータ） (2022-05-26T17:47:35Z)
• Dendritic Self-Organizing Maps for Continual Learning [0.0]
  我々は、DendSOM(Dendritic-Self-Organizing Map)と呼ばれる生物学的ニューロンにインスパイアされた新しいアルゴリズムを提案する。 DendSOMは、入力空間の特定の領域からパターンを抽出する単一のSOMからなる。 ベンチマークデータセットでは、古典的なSOMやいくつかの最先端の継続的学習アルゴリズムよりも優れています。
  論文  参考訳（メタデータ） (2021-10-18T14:47:19Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Tensor Laplacian Regularized Low-Rank Representation for Non-uniformly Distributed Data Subspace Clustering [2.578242050187029]
  低ランク表現(LRR)は、サブスペースクラスタリングにおけるデータポイントの局所性情報を破棄する。 本稿では,隣接ノードの変動数を容易にし,データの局所性情報を組み込むハイパーグラフモデルを提案する。 人工および実データを用いた実験により,提案手法の精度と精度が向上した。
  論文  参考訳（メタデータ） (2021-03-06T08:22:24Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• Network Classifiers Based on Social Learning [71.86764107527812]
  空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。 提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。 この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
  論文  参考訳（メタデータ） (2020-10-23T11:18:20Z)
• Learning Self-Expression Metrics for Scalable and Inductive Subspace Clustering [5.587290026368626]
  サブスペースクラスタリングは、高次元データをクラスタリングするための最先端のアプローチとして確立されている。 本研究では,シアムニューラルネットワークアーキテクチャを用いて,サブスペース親和性関数を学習するための新しい距離学習手法を提案する。 我々のモデルは、パラメータの一定数とメモリフットプリントの恩恵を受けており、かなり大きなデータセットにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-27T15:40:12Z)
• Joint and Progressive Subspace Analysis (JPSA) with Spatial-Spectral Manifold Alignment for Semi-Supervised Hyperspectral Dimensionality Reduction [48.73525876467408]
  本稿では,超スペクトル部分空間解析のための新しい手法を提案する。 この手法はジョイント・アンド・プログレッシブ・サブスペース分析(JPSA)と呼ばれる。 2つの広帯域超スペクトルデータセットに対して提案したJPSAの優位性と有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2020-09-21T16:29:59Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)
• Spectral Learning on Matrices and Tensors [74.88243719463053]
  テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。 また,効率的なテンソル分解法を設計するための計算手法についても概説する。
  論文  参考訳（メタデータ） (2020-04-16T22:53:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。