論文の概要: Going Deeper with Spectral Embeddings
- arxiv url: http://arxiv.org/abs/2306.00742v1
- Date: Thu, 1 Jun 2023 14:38:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 15:36:23.310528
- Title: Going Deeper with Spectral Embeddings
- Title(参考訳): スペクトル埋め込みでより深く進む
- Authors: Vivien Cabannes
- Abstract要約: スペクトル埋め込みを構築するための2つの新しい手法を提案する。
一つは関数解析の原理とカーネルの手法に基づいており、理論的な保証のあるアルゴリズムに繋がる。
もう1つは、変動損失を最適化するために訓練されたディープネットワークに基づいており、事実上効率的なアルゴリズムを生み出している。
- 参考スコア(独自算出の注目度): 1.52292571922932
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: To make sense of millions of raw data and represent them efficiently,
practitioners rely on representation learning. Recently, deep connections have
been shown between these approaches and the spectral decompositions of some
underlying operators. Historically, explicit spectral embeddings were built
from graphs constructed on top of the data. In contrast, we propose two new
methods to build spectral embeddings: one based on functional analysis
principles and kernel methods, which leads to algorithms with theoretical
guarantees, and the other based on deep networks trained to optimize principled
variational losses, which yield practically efficient algorithms. Furthermore,
we provide a new sampling algorithm that leverages learned representations to
generate new samples in a single step.
- Abstract(参考訳): 何百万もの生データを理解し、効率的に表現するために、実践者は表現学習に頼る。
近年、これらのアプローチと基礎となる作用素のスペクトル分解の間に深い関係が示されている。
歴史的に、明示的なスペクトル埋め込みはデータの上に構築されたグラフから構築された。
対照的に、スペクトル埋め込みを構築するための新しい方法として、機能解析原理と、理論的保証のあるアルゴリズムを導出するカーネル法と、原理的変動損失を最適化するために訓練されたディープネットワークの2つを提案する。
さらに、学習した表現を活用して新しいサンプルを1ステップで生成する新しいサンプリングアルゴリズムを提案する。
関連論文リスト
- Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳(メタデータ) (2023-10-31T16:15:13Z) - Random feature approximation for general spectral methods [0.0]
スペクトル正規化法とランダムな特徴を組み合わせた多種多様なスペクトル正規化手法の一般化特性を解析する。
推定器は勾配正則性クラスよりも最適な学習率が得られる。
論文 参考訳(メタデータ) (2023-08-29T16:56:03Z) - Multivariate Systemic Risk Measures and Computation by Deep Learning
Algorithms [63.03966552670014]
本稿では,主観的最適度と関連するリスク割り当ての公平性に着目し,重要な理論的側面について論じる。
私たちが提供しているアルゴリズムは、予備項の学習、二重表現の最適化、およびそれに対応する公正なリスク割り当てを可能にします。
論文 参考訳(メタデータ) (2023-02-02T22:16:49Z) - Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。
我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。
カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
論文 参考訳(メタデータ) (2022-09-29T15:53:19Z) - NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。
最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。
教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
論文 参考訳(メタデータ) (2022-04-30T05:31:07Z) - Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。
線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
論文 参考訳(メタデータ) (2022-04-20T21:15:38Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Galerkin Neural Networks: A Framework for Approximating Variational
Equations with Error Control [0.0]
本稿では,ニューラルネットワークを用いて変分方程式の解を近似する手法を提案する。
基本関数がニューラルネットワークの列の実現である有限次元部分空間の列を用いる。
論文 参考訳(メタデータ) (2021-05-28T20:25:40Z) - Intrinsic Gaussian Processes on Manifolds and Their Accelerations by
Symmetry [9.773237080061815]
既存の手法は主に熱核推定のための低次元制約領域に焦点を当てている。
本研究は一般方程式上でGPを構築するための本質的なアプローチを提案する。
本手法は指数写像を用いてブラウン運動サンプル経路をシミュレーションすることにより熱核を推定する。
論文 参考訳(メタデータ) (2020-06-25T09:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。