論文の概要: Deep Kernel Principal Component Analysis for Multi-level Feature Learning

• arxiv url: http://arxiv.org/abs/2302.11220v1
• Date: Wed, 22 Feb 2023 09:07:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-23 15:49:22.230323
• Title: Deep Kernel Principal Component Analysis for Multi-level Feature Learning
• Title（参考訳）: 多レベル特徴学習のためのディープカーネル主成分分析
• Authors: Francesco Tonin, Qinghua Tao, Panagiotis Patrinos, Johan A. K. Suykens
• Abstract要約: 我々は、データの最も情報性の高いコンポーネントの複数のレベルを抽出するディープカーネルPCA手法(DKPCA)を開発した。 我々はDKPCAがカーネルメソッドでは検討されていないレベル間の前方および後方の依存関係を生成することを示す。 提案手法は,入力データの主要な生成因子を分離し,効率的な階層的データ探索を可能にする。
• 参考スコア（独自算出の注目度）: 14.470859959783995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Principal Component Analysis (PCA) and its nonlinear extension Kernel PCA (KPCA) are widely used across science and industry for data analysis and dimensionality reduction. Modern deep learning tools have achieved great empirical success, but a framework for deep principal component analysis is still lacking. Here we develop a deep kernel PCA methodology (DKPCA) to extract multiple levels of the most informative components of the data. Our scheme can effectively identify new hierarchical variables, called deep principal components, capturing the main characteristics of high-dimensional data through a simple and interpretable numerical optimization. We couple the principal components of multiple KPCA levels, theoretically showing that DKPCA creates both forward and backward dependency across levels, which has not been explored in kernel methods and yet is crucial to extract more informative features. Various experimental evaluations on multiple data types show that DKPCA finds more efficient and disentangled representations with higher explained variance in fewer principal components, compared to the shallow KPCA. We demonstrate that our method allows for effective hierarchical data exploration, with the ability to separate the key generative factors of the input data both for large datasets and when few training samples are available. Overall, DKPCA can facilitate the extraction of useful patterns from high-dimensional data by learning more informative features organized in different levels, giving diversified aspects to explore the variation factors in the data, while maintaining a simple mathematical formulation.
• Abstract（参考訳）: 主成分分析(PCA)とその非線形拡張Kernel PCA(KPCA)は、データ分析と次元減少のために科学や産業で広く利用されている。 現代のディープラーニングツールは経験的な成功を収めていますが、深い主成分分析のためのフレームワークはまだ不足しています。 ここでは、データの最も情報性の高いコンポーネントの複数のレベルを抽出するディープカーネルPCA手法(DKPCA)を開発する。 本手法は,深層主成分と呼ばれる新しい階層変数を効果的に同定し,単純かつ解釈可能な数値最適化により高次元データの主な特性を捉えることができる。 我々は、複数のKPCAレベルの主成分を結合し、理論的には、DKPCAは、カーネルメソッドでは検討されていないが、より情報的な特徴を抽出するためには不可欠である、各レベルの前方および後方の依存関係を創出することを示す。 複数のデータ型に関する様々な実験的評価により、dkpcaは、浅いkpcaと比較して、主成分のばらつきがより少ない、より効率的で不連続な表現を見出した。 提案手法は,大規模データセットとトレーニングサンプルの少ない場合の両方において,入力データのキー生成要因を分離することで,効果的な階層的データ探索を可能にする。 全体として、DKPCAは、異なるレベルで整理されたより情報的な特徴を学習し、データの変動要因を探索し、単純な数学的定式化を維持しながら、高次元データから有用なパターンの抽出を容易にする。

関連論文リスト

• Learning-Augmented K-Means Clustering Using Dimensional Reduction [1.7243216387069678]
  主成分分析(PCA)を用いたデータセットの次元性低減手法を提案する。 PCAは文献でよく確立されており、データモデリング、圧縮、可視化の最も有用なツールの1つになっている。
  論文  参考訳（メタデータ） (2024-01-06T12:02:33Z)
• A Weighted K-Center Algorithm for Data Subset Selection [70.49696246526199]
  サブセット選択は、トレーニングデータの小さな部分を特定する上で重要な役割を果たす、基本的な問題である。 我々は,k中心および不確かさサンプリング目的関数の重み付け和に基づいて,サブセットを計算する新しい係数3近似アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-12-17T04:41:07Z)
• Data-Centric Long-Tailed Image Recognition [49.90107582624604]
  ロングテールモデルは高品質なデータに対する強い需要を示している。 データ中心のアプローチは、モデルパフォーマンスを改善するために、データの量と品質の両方を強化することを目的としています。 現在、情報強化の有効性を説明するメカニズムに関する研究が不足している。
  論文  参考訳（メタデータ） (2023-11-03T06:34:37Z)
• Combining Primal and Dual Representations in Deep Restricted Kernel Machines Classifiers [17.031744210104556]
  KPCAの目的と分類レベルを結合したDRKM分類法を提案する。 分類レベルは LSSVM あるいはプリミティブな特徴マップとして定式化でき、レベルとレイヤの深さを組み合わせられる。 開発したアルゴリズムは,高次元データを用いた畳み込みニューラルネットワーク(CNN)よりも少ないメモリで,小さなデータセットから効果的に学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-06-12T10:39:57Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Sample-Efficient Reinforcement Learning in the Presence of Exogenous Information [77.19830787312743]
  実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。 本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。 内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
  論文  参考訳（メタデータ） (2022-06-09T05:19:32Z)
• CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
  我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。 このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
  論文  参考訳（メタデータ） (2022-05-02T14:42:05Z)
• CvS: Classification via Segmentation For Small Datasets [52.821178654631254]
  本稿では,分類ラベルをセグメントマップの予測から導出する小型データセットのコスト効率の高い分類器であるCvSを提案する。 我々は,CvSが従来の手法よりもはるかに高い分類結果が得られることを示す多種多様な問題に対して,本フレームワークの有効性を評価する。
  論文  参考訳（メタデータ） (2021-10-29T18:41:15Z)
• On Approximation in Deep Convolutional Networks: a Kernel Perspective [12.284934135116515]
  画像や音声などの高次元データを含むタスクにおける深層畳み込みネットワークの成功について検討する。 多層畳み込み核を検討し、カーネル方式のレンズを通して理論的・実証的に検討する。 入力パッチで動作する表現型カーネルは第1層では重要であるが、より単純なカーネルは高い層で十分性能を保ち得る。
  論文  参考訳（メタデータ） (2021-02-19T17:03:42Z)
• Probabilistic Contrastive Principal Component Analysis [0.5286651840245514]
  比較主成分分析(CPCA)のモデルに基づく代替案を提案する。 CPCAに対するPCPCAのアドバンテージは、解釈性の向上、不確実性定量化、原理推論などである。 遺伝子発現、タンパク質発現、画像のデータセットを用いた一連のシミュレーションとケースコントロール実験によりPCPCAの性能を実証します。
  論文  参考訳（メタデータ） (2020-12-14T22:21:50Z)
• Unsupervised learning of disentangled representations in deep restricted kernel machines with orthogonality constraints [15.296955630621566]
  Constr-DRKMは、非教師なしデータ表現の学習のためのディープカーネル手法である。 本研究では,不整合特徴学習における提案手法の有効性を定量的に評価する。
  論文  参考訳（メタデータ） (2020-11-25T11:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。