論文の概要: End-to-end Kernel Learning via Generative Random Fourier Features
- arxiv url: http://arxiv.org/abs/2009.04614v5
- Date: Tue, 16 Jan 2024 02:54:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 22:37:04.459360
- Title: End-to-end Kernel Learning via Generative Random Fourier Features
- Title（参考訳）: 生成ランダムフーリエ特徴を用いたエンドツーエンドカーネル学習
- Authors: Kun Fang, Fanghui Liu, Xiaolin Huang and Jie Yang
- Abstract要約: ランダムフーリエ機能(RFF)は、スペクトルケースでのカーネル学習に有望な方法を提供する。
本稿では,カーネル学習と線形学習を統一フレームワークに組み込む一段階プロセスについて考察する。
- 参考スコア（独自算出の注目度）: 31.57596752889935
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Random Fourier features (RFFs) provide a promising way for kernel learning in
a spectral case. Current RFFs-based kernel learning methods usually work in a
two-stage way. In the first-stage process, learning the optimal feature map is
often formulated as a target alignment problem, which aims to align the learned
kernel with the pre-defined target kernel (usually the ideal kernel). In the
second-stage process, a linear learner is conducted with respect to the mapped
random features. Nevertheless, the pre-defined kernel in target alignment is
not necessarily optimal for the generalization of the linear learner. Instead,
in this paper, we consider a one-stage process that incorporates the kernel
learning and linear learner into a unifying framework. To be specific, a
generative network via RFFs is devised to implicitly learn the kernel, followed
by a linear classifier parameterized as a full-connected layer. Then the
generative network and the classifier are jointly trained by solving the
empirical risk minimization (ERM) problem to reach a one-stage solution. This
end-to-end scheme naturally allows deeper features, in correspondence to a
multi-layer structure, and shows superior generalization performance over the
classical two-stage, RFFs-based methods in real-world classification tasks.
Moreover, inspired by the randomized resampling mechanism of the proposed
method, its enhanced adversarial robustness is investigated and experimentally
verified.
- Abstract（参考訳）: ランダムフーリエ機能(RFF)は、スペクトルケースでのカーネル学習に有望な方法を提供する。
現在のRFFsベースのカーネル学習法は、通常2段階の方法で機能する。
第1段階のプロセスでは、最適特徴写像の学習は、しばしば目標アライメント問題として定式化され、学習されたカーネルを予め定義されたターゲットカーネル(通常は理想のカーネル)と整合させることを目的としている。
第2段階のプロセスでは、マッピングされたランダムな特徴に対して線形学習を行う。
それでも、ターゲットアライメントにおける事前定義されたカーネルは、線形学習者の一般化に必ずしも最適ではない。
本稿では,カーネル学習と線形学習を統一フレームワークに組み込む一段階プロセスについて考察する。
具体的には、RFFによる生成ネットワークはカーネルを暗黙的に学習するように設計され、続いて完全な接続層としてパラメータ化された線形分類器が作られる。
そして、経験的リスク最小化(ERM)問題を解くことにより、生成ネットワークと分類器を共同で訓練し、1段階の解を得る。
このエンド・ツー・エンド方式は、多層構造に対応して、自然により深い特徴を許容し、実世界の分類タスクにおいて古典的な2段階のRFFに基づく手法よりも優れた一般化性能を示す。
さらに,提案手法のランダム化再サンプリング機構に触発され,その拡張された逆ロバスト性が検証され,実験的に検証された。
関連論文リスト
- Blind Super-Resolution via Meta-learning and Markov Chain Monte Carlo Simulation [46.5310645609264]
本稿では,メタラーニングとマルコフ・チェイン・モンテカルロに基づくSISRアプローチを提案する。
軽量ネットワークがカーネルジェネレータとして採用され、ランダムガウス分布のMCMCシミュレーションから学習することで最適化される。
カーネルジェネレータと画像復元器を最適化するために,メタラーニングに基づく交互最適化手法を提案する。
論文 参考訳（メタデータ） (2024-06-13T07:50:15Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features [3.0079490585515347]
RFFNetは1次最適化によってカーネルの関連性をリアルタイムで学習するスケーラブルな手法である。
提案手法はメモリフットプリントが小さく,実行時,予測誤差が低く,関連する特徴を効果的に識別できることを示す。
私たちは、Scikit-learn標準APIと結果を完全に再現するためのコードに準拠した、効率的でPyTorchベースのライブラリをユーザに提供します。
論文 参考訳（メタデータ） (2022-11-11T18:50:34Z) - Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。
我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。
カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
論文 参考訳（メタデータ） (2022-09-29T15:53:19Z) - Learning "best" kernels from data in Gaussian process regression. With
application to aerodynamics [0.4588028371034406]
本稿では,ガウス過程の回帰/クリギングサロゲートモデリング手法におけるカーネルの選択/設計アルゴリズムを紹介する。
アルゴリズムの最初のクラスはカーネルフローであり、機械学習の分類の文脈で導入された。
アルゴリズムの第2のクラスはスペクトル核リッジ回帰と呼ばれ、近似される関数のノルムが最小となるような「最良の」カーネルを選択することを目的としている。
論文 参考訳（メタデータ） (2022-06-03T07:50:54Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Kernel Continual Learning [117.79080100313722]
カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。
エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。
タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
論文 参考訳（メタデータ） (2021-07-12T22:09:30Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Domain Adaptive Learning Based on Sample-Dependent and Learnable Kernels [2.1485350418225244]
本稿では,SDLK-DAL(Sample-Dependent and Learnable Kernels)に基づくドメイン適応学習手法を提案する。
我々の研究の最初の貢献は、サンプルに依存して学習可能な正定定値カーネル関数(PDQK)フレームワークを提案することである。
PDQKによって決定されたRKHSがいくつかの最先端のDALアルゴリズムに取って代わる一連の実験を行い、我々のアプローチはより良いパフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-18T13:55:06Z) - Learning Deep Kernels for Non-Parametric Two-Sample Tests [50.92621794426821]
2組のサンプルが同じ分布から引き出されるかどうかを判定するカーネルベースの2サンプルテストのクラスを提案する。
私たちのテストは、テストパワーを最大化するためにトレーニングされたディープニューラルネットワークによってパラメータ化されたカーネルから構築されます。
論文 参考訳（メタデータ） (2020-02-21T03:54:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。