論文の概要: A theory of representation learning gives a deep generalisation of kernel methods

• arxiv url: http://arxiv.org/abs/2108.13097v6
• Date: Thu, 25 May 2023 07:46:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-27 00:44:43.528667
• Title: A theory of representation learning gives a deep generalisation of kernel methods
• Title（参考訳）: 表現学習の理論は、カーネルメソッドの深い一般化を与える
• Authors: Adam X. Yang, Maxime Robeyns, Edward Milsom, Ben Anson, Nandi Schoots, Laurence Aitchison
• Abstract要約: 我々は、新しい無限幅制限、ベイズ表現学習限界を開発する。 有限幅モデルにおける表現学習ミラーリングを示す。 次に、この制限と目的を、カーネルメソッドの柔軟な、より深い一般化として使用できる可能性を紹介します。
• 参考スコア（独自算出の注目度）: 22.260038428890383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The successes of modern deep machine learning methods are founded on their ability to transform inputs across multiple layers to build good high-level representations. It is therefore critical to understand this process of representation learning. However, standard theoretical approaches (formally NNGPs) involving infinite width limits eliminate representation learning. We therefore develop a new infinite width limit, the Bayesian representation learning limit, that exhibits representation learning mirroring that in finite-width models, yet at the same time, retains some of the simplicity of standard infinite-width limits. In particular, we show that Deep Gaussian processes (DGPs) in the Bayesian representation learning limit have exactly multivariate Gaussian posteriors, and the posterior covariances can be obtained by optimizing an interpretable objective combining a log-likelihood to improve performance with a series of KL-divergences which keep the posteriors close to the prior. We confirm these results experimentally in wide but finite DGPs. Next, we introduce the possibility of using this limit and objective as a flexible, deep generalisation of kernel methods, that we call deep kernel machines (DKMs). Like most naive kernel methods, DKMs scale cubically in the number of datapoints. We therefore use methods from the Gaussian process inducing point literature to develop a sparse DKM that scales linearly in the number of datapoints. Finally, we extend these approaches to NNs (which have non-Gaussian posteriors) in the Appendices.
• Abstract（参考訳）: 現代のディープラーニング手法の成功は、複数の層にまたがって入力を変換し、優れたハイレベルな表現を構築する能力に基づいています。 したがって、この表現学習の過程を理解することは重要である。 しかし、無限幅制限を含む標準的な理論的アプローチ(正式にはNNGP)は表現学習を排除している。 そこで我々は,有限幅モデルにおいて,標準無限幅極限の単純さを保ちながら表現学習のミラーリングを示す,新たな無限幅極限ベイズ表現学習限界(baiesian representation learning limit)を開発した。 特に,ベイズ表現学習限界における深いガウス過程 (dgps) は, 正確に多変量ガウス後段を持ち, 後方共分散は, ログ類似性を組み合わせた解釈可能な目標を最適化することで得られる。 これらの結果は広義に有限なDGPで実験的に検証する。 次に,この限界と目的を,深層カーネルマシン (DKM) と呼ばれるカーネルメソッドの柔軟な,深い一般化として活用する可能性を紹介する。 多くの単純カーネルメソッドと同様に、DKMはデータポイント数で3次スケールする。 したがって,点文献を誘導するガウス過程の手法を用いて,データポイント数を線形にスケールするスパースdkmを開発した。 最後に、これらのアプローチをアペンデンスにおけるNN(非ガウス後部を持つ)に拡張する。

関連論文リスト

• Contraction rates for conjugate gradient and Lanczos approximate posteriors in Gaussian process regression [0.0]
  我々は確率的数値の分野から最近提案された近似アルゴリズムのクラスを分析する。 数値解析結果とカーネル行列のスペクトルのアート集中結果の状態を組み合わせ、最小値の収縮率を求める。
  論文  参考訳（メタデータ） (2024-06-18T14:50:42Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Controlling the Inductive Bias of Wide Neural Networks by Modifying the Kernel's Spectrum [18.10812063219831]
  所望の固有値を持つカーネルに改良スペクトルカーネル(MSK)を導入する。 本研究では,勾配勾配の軌道を変化させる事前条件付き勾配降下法を提案する。 私たちの手法は計算効率が良く、実装も簡単です。
  論文  参考訳（メタデータ） (2023-07-26T22:39:47Z)
• Higher-order topological kernels via quantum computation [68.8204255655161]
  トポロジカルデータ分析(TDA)は、複雑なデータから意味のある洞察を抽出する強力なツールとして登場した。 本稿では,ベッチ曲線の次数増加に基づくBettiカーネルの量子的定義法を提案する。
  論文  参考訳（メタデータ） (2023-07-14T14:48:52Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• A Generalized EigenGame with Extensions to Multiview Representation Learning [0.28647133890966997]
  一般化固有値問題(GEPs)は、様々な興味深い次元減少法を含んでいる。 我々は、ラグランジュ乗算器によって全ての制約がソフトに強制されるGEPの解法を開発する。 線形の場合、我々のアプローチは、以前のヘビアンとゲーム理論のアプローチの理論的根拠の多くを共有していることを示す。 標準マルチビューデータセットの設定におけるGEPの解法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-21T10:11:13Z)
• Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces [96.53463532832939]
  我々はガウス過程の適用性を高める技術を開発した。 この観点から構築した効率的な近似を幅広く導入する。 非ユークリッド空間上のガウス過程モデルの集合を開発する。
  論文  参考訳（メタデータ） (2022-02-22T01:42:57Z)
• Conditional Deep Gaussian Processes: empirical Bayes hyperdata learning [6.599344783327054]
  本稿では,階層構成における中間GPをハイパーデータでサポートする条件付きDeep Gaussian Process (DGP)を提案する。 潜時空間における高密度ハイパーデータ限界における深層カーネル学習の等価性を示す。 予備補間の結果は,提案モデルがGPカーネル構成,DGP変分推論,深層カーネル学習と比較して表現力を示す。
  論文  参考訳（メタデータ） (2021-10-01T17:50:48Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)
• Intrinsic Gaussian Processes on Manifolds and Their Accelerations by Symmetry [9.773237080061815]
  既存の手法は主に熱核推定のための低次元制約領域に焦点を当てている。 本研究は一般方程式上でGPを構築するための本質的なアプローチを提案する。 本手法は指数写像を用いてブラウン運動サンプル経路をシミュレーションすることにより熱核を推定する。
  論文  参考訳（メタデータ） (2020-06-25T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。