論文の概要: Combining Primal and Dual Representations in Deep Restricted Kernel Machines Classifiers

• arxiv url: http://arxiv.org/abs/2306.07015v2
• Date: Tue, 29 Aug 2023 09:17:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 17:57:47.986485
• Title: Combining Primal and Dual Representations in Deep Restricted Kernel Machines Classifiers
• Title（参考訳）: 制限されたカーネルマシンのプリマル表現とデュアル表現の組み合わせ
• Authors: Francesco Tonin, Panagiotis Patrinos, Johan A. K. Suykens
• Abstract要約: KPCAの目的と分類レベルを結合したDRKM分類法を提案する。 分類レベルは LSSVM あるいはプリミティブな特徴マップとして定式化でき、レベルとレイヤの深さを組み合わせられる。 開発したアルゴリズムは,高次元データを用いた畳み込みニューラルネットワーク(CNN)よりも少ないメモリで,小さなデータセットから効果的に学習可能であることを示す。
• 参考スコア（独自算出の注目度）: 17.031744210104556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the context of deep learning with kernel machines, the deep Restricted Kernel Machine (DRKM) framework allows multiple levels of kernel PCA (KPCA) and Least-Squares Support Vector Machines (LSSVM) to be combined into a deep architecture using visible and hidden units. We propose a new method for DRKM classification coupling the objectives of KPCA and classification levels, with the hidden feature matrix lying on the Stiefel manifold. The classification level can be formulated as an LSSVM or as an MLP feature map, combining depth in terms of levels and layers. The classification level is expressed in its primal formulation, as the deep KPCA levels, in their dual formulation, can embed the most informative components of the data in a much lower dimensional space. The dual setting is independent of the dimension of the inputs and the primal setting is parametric, which makes the proposed method computationally efficient for both high-dimensional inputs and large datasets. In the experiments, we show that our developed algorithm can effectively learn from small datasets, while using less memory than the convolutional neural network (CNN) with high-dimensional data. and that models with multiple KPCA levels can outperform models with a single level. On the tested larger-scale datasets, DRKM is more energy efficient than CNN while maintaining comparable performance.
• Abstract（参考訳）: カーネルマシンによるディープラーニングの文脈では、Deep Restricted Kernel Machine(DRKM)フレームワークは、複数のレベルのカーネルPCA(KPCA)とLast-Squares Support Vector Machines(LSSVM)を、可視および隠されたユニットを使用してディープアーキテクチャに統合することができる。 そこで本研究では,KPCAの目的と分類レベルを結合したDRKM分類法を提案する。 分類レベルは LSSVM あるいは MLP 特徴マップとして定式化することができ、レベルとレイヤの深さを組み合わせることができる。 分類レベルは原始的な定式化で表され、深部KPCAレベルは双対的な定式化で、データの最も情報性の高い成分をより低い次元空間に埋め込むことができる。 デュアルセッティングは入力の次元とは独立であり、プライマリセッティングはパラメトリックであり、提案手法は高次元入力と大規模データセットの両方に対して計算的に効率的である。 実験では,提案アルゴリズムは,高次元データを用いた畳み込みニューラルネットワーク(CNN)よりも少ないメモリで,小さなデータセットから効果的に学習可能であることを示す。 複数のKPCAレベルを持つモデルは、単一レベルのモデルよりも優れています。 テストされた大規模データセットでは、DRKMは同等のパフォーマンスを維持しながら、CNNよりもエネルギー効率が高い。

関連論文リスト

• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Qudit Machine Learning [0.0]
  簡単なdレベルシステム(qudit)の学習能力を総合的に検討する。 本研究は,実世界のデータベース,特にIris,乳癌,MNISTデータセットを用いた分類タスクに特化している。
  論文  参考訳（メタデータ） (2023-08-30T18:00:04Z)
• Feature Selection using Sparse Adaptive Bottleneck Centroid-Encoder [1.2487990897680423]
  2つ以上のクラスで識別される特徴を決定するために,新しい非線形モデル SABCE (Sparse Adaptive Bottleneckid-Encoder) を導入する。 このアルゴリズムは、高次元生物学的、画像、音声、加速度センサデータなど、様々な実世界のデータセットに適用される。
  論文  参考訳（メタデータ） (2023-06-07T21:37:21Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• A multi-model-based deep learning framework for short text multiclass classification with the imbalanced and extremely small data set [0.6875312133832077]
  本稿では,不均衡かつ極めて小さなデータセットを持つ短文マルチクラス分類のための,マルチモデルに基づくディープラーニングフレームワークを提案する。 精度、リコール、精度、F1スコアの点で最先端のベースライン性能を維持している。
  論文  参考訳（メタデータ） (2022-06-24T00:51:02Z)
• Memory and Computation-Efficient Kernel SVM via Binary Embedding and Ternary Model Coefficients [18.52747917850984]
  カーネル近似はカーネルSVMのトレーニングと予測のスケールアップに広く用いられている。 メモリ制限されたデバイスにデプロイしたい場合、カーネル近似モデルのメモリと計算コストはまだ高すぎる。 本稿では,バイナリ埋め込みとバイナリモデル係数を用いて,新しいメモリと計算効率の高いカーネルSVMモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-06T09:41:54Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• A Generic Network Compression Framework for Sequential Recommender Systems [71.81962915192022]
  シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。 CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。 大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
  論文  参考訳（メタデータ） (2020-04-21T08:40:55Z)
• On Coresets for Support Vector Machines [61.928187390362176]
  coresetは、元のデータポイントの小さな、代表的なサブセットである。 我々は,本アルゴリズムを用いて,既製のSVMソルバをストリーミング,分散,動的データ設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-15T23:25:12Z)
• Efficient Structure-preserving Support Tensor Train Machine [0.0]
  列車マルチウェイマルチレベルカーネル(TT-MMK) 我々は,ポリアディック分解の単純さ,デュアル構造保存支援機の分類能力,およびTrain Vector近似の信頼性を組み合わせたTrain Multi-way Multi-level Kernel(TT-MMK)を開発した。 実験により,TT-MMK法は通常より信頼性が高く,チューニングパラメータに敏感で,他の最先端技術と比較した場合のSVM分類において高い予測精度が得られた。
  論文  参考訳（メタデータ） (2020-02-12T16:35:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。