論文の概要: Non-Parametric Representation Learning with Kernels
- arxiv url: http://arxiv.org/abs/2309.02028v1
- Date: Tue, 5 Sep 2023 08:14:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 15:53:38.532150
- Title: Non-Parametric Representation Learning with Kernels
- Title（参考訳）: カーネルを用いた非パラメトリック表現学習
- Authors: Pascal Esser, Maximilian Fleissner, Debarghya Ghoshdastidar
- Abstract要約: いくつかのカーネルベース表現学習手法を導入・分析する。
教師付きカーネルマシンの古典的表現定理は、(自己教師型)表現学習には必ずしも適用されない。
我々は,これらの手法の性能を,ニューラルネットワークベースモデルと比較して実証的に評価した。
- 参考スコア（独自算出の注目度）: 6.944372188747803
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised and self-supervised representation learning has become popular
in recent years for learning useful features from unlabelled data.
Representation learning has been mostly developed in the neural network
literature, and other models for representation learning are surprisingly
unexplored. In this work, we introduce and analyze several kernel-based
representation learning approaches: Firstly, we define two kernel
Self-Supervised Learning (SSL) models using contrastive loss functions and
secondly, a Kernel Autoencoder (AE) model based on the idea of embedding and
reconstructing data. We argue that the classical representer theorems for
supervised kernel machines are not always applicable for (self-supervised)
representation learning, and present new representer theorems, which show that
the representations learned by our kernel models can be expressed in terms of
kernel matrices. We further derive generalisation error bounds for
representation learning with kernel SSL and AE, and empirically evaluate the
performance of these methods in both small data regimes as well as in
comparison with neural network based models.
- Abstract（参考訳）: 近年,未学習データから有用な特徴を学習するために,教師なし・自己教師付き表現学習が普及している。
表現学習は主にニューラルネットワークの文献で開発されており、表現学習の他のモデルは驚くほど未解明である。
本稿では,2つのカーネル自己教師付き学習(ssl)モデルをコントラスト損失関数を用いて定義し,もう1つは,データの埋め込み・再構成という考え方に基づくカーネルオートエンコーダ(ae)モデルである。
教師付きカーネルマシンの古典的表現定理は、必ずしも(自己教師付き)表現学習に適用できるものではなく、カーネルモデルによって学習された表現をカーネル行列で表現できることを示す新しい表現定理である。
さらに,カーネルsslとaeを用いた表現学習における一般化誤り境界を導出し,これらの手法の性能を実験的に評価し,ニューラルネットワークモデルとの比較を行った。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - A Probabilistic Model behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
識別性SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示す。
論文 参考訳（メタデータ） (2024-02-02T13:31:17Z) - A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models [13.283281356356161]
本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。
ニューラルネットワークの過剰なリスクに関する結果は、回帰または分類の非パラメトリックフレームワークでレビューされる。
本稿では、GAN(Generative Adversarial Networks)、拡散モデル、Large Language Models(LLMs)におけるICL(In-context Learning)などの生成モデルにおける最新の理論的進歩について概説する。
論文 参考訳（メタデータ） (2024-01-14T02:30:19Z) - Specify Robust Causal Representation from Mixed Observations [35.387451486213344]
観測から純粋に表現を学習することは、予測モデルに有利な低次元のコンパクトな表現を学習する問題を懸念する。
本研究では,観測データからこのような表現を学習するための学習手法を開発した。
理論的および実験的に、学習された因果表現で訓練されたモデルは、敵の攻撃や分布シフトの下でより堅牢であることを示す。
論文 参考訳（メタデータ） (2023-10-21T02:18:35Z) - An Exact Kernel Equivalence for Finite Classification Models [1.4777718769290527]
我々は、その正確な表現をよく知られたニューラルタンジェントカーネル(NTK)と比較し、NTKに対する近似誤差について議論する。
この正確なカーネルを使って、ニューラルネットワークによる予測について、理論的貢献が有益な洞察を提供することを示す。
論文 参考訳（メタデータ） (2023-08-01T20:22:53Z) - Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。
我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。
カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
論文 参考訳（メタデータ） (2022-09-29T15:53:19Z) - Entity-Conditioned Question Generation for Robust Attention Distribution
in Neural Information Retrieval [51.53892300802014]
教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。
目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
論文 参考訳（メタデータ） (2022-04-24T22:36:48Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳（メタデータ） (2020-12-15T16:29:49Z) - Self-organizing Democratized Learning: Towards Large-scale Distributed
Learning Systems [71.14339738190202]
民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。
本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。
提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
論文 参考訳（メタデータ） (2020-07-07T08:34:48Z) - Brain-like approaches to unsupervised learning of hidden representations
-- a comparative study [0.0]
我々は最近,疎分散高次元表現を抽出するために拡張されたBCPNNモデルについて検討した。
MNISTデータセットとFashion-MNISTデータセットでトレーニングされた隠れ表現の有用性とクラス依存分離性について検討した。
論文 参考訳（メタデータ） (2020-05-06T11:20:21Z) - Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく
我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。
EGAEは1つのエンコーダと2つのデコーダで構成される。
論文 参考訳（メタデータ） (2020-02-20T09:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。