論文の概要: Domain Adaptive Learning Based on Sample-Dependent and Learnable Kernels
- arxiv url: http://arxiv.org/abs/2102.09340v1
- Date: Thu, 18 Feb 2021 13:55:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-19 14:17:01.401051
- Title: Domain Adaptive Learning Based on Sample-Dependent and Learnable Kernels
- Title（参考訳）: サンプル依存と学習可能なカーネルに基づくドメイン適応学習
- Authors: Xinlong Lu, Zhengming Ma, Yuanping Lin
- Abstract要約: 本稿では,SDLK-DAL(Sample-Dependent and Learnable Kernels)に基づくドメイン適応学習手法を提案する。
我々の研究の最初の貢献は、サンプルに依存して学習可能な正定定値カーネル関数(PDQK)フレームワークを提案することである。
PDQKによって決定されたRKHSがいくつかの最先端のDALアルゴリズムに取って代わる一連の実験を行い、我々のアプローチはより良いパフォーマンスを実現します。
- 参考スコア（独自算出の注目度）: 2.1485350418225244
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Reproducing Kernel Hilbert Space (RKHS) is the common mathematical platform
for various kernel methods in machine learning. The purpose of kernel learning
is to learn an appropriate RKHS according to different machine learning
scenarios and training samples. Because RKHS is uniquely generated by the
kernel function, kernel learning can be regarded as kernel function learning.
This paper proposes a Domain Adaptive Learning method based on Sample-Dependent
and Learnable Kernels (SDLK-DAL). The first contribution of our work is to
propose a sample-dependent and learnable Positive Definite Quadratic Kernel
function (PDQK) framework. Unlike learning the exponential parameter of
Gaussian kernel function or the coefficient of kernel combinations, the
proposed PDQK is a positive definite quadratic function, in which the symmetric
positive semi-definite matrix is the learnable part in machine learning
applications. The second contribution lies on that we apply PDQK to Domain
Adaptive Learning (DAL). Our approach learns the PDQK through minimizing the
mean discrepancy between the data of source domain and target domain and then
transforms the data into an optimized RKHS generated by PDQK. We conduct a
series of experiments that the RKHS determined by PDQK replaces those in
several state-of-the-art DAL algorithms, and our approach achieves better
performance.
- Abstract（参考訳）: Kernel Hilbert Space(RKHS)は、機械学習におけるさまざまなカーネルメソッドの一般的な数学的プラットフォームである。
カーネル学習の目的は、異なる機械学習シナリオとトレーニングサンプルに従って適切なrkhsを学ぶことである。
RKHSはカーネル関数によって一意に生成されるため、カーネル学習はカーネル関数学習と見なすことができる。
本稿では,SDLK-DAL(Sample-Dependent and Learnable Kernels)に基づくドメイン適応学習手法を提案する。
我々の研究の最初の貢献は、サンプルに依存して学習可能な正定定値カーネル関数(PDQK)フレームワークを提案することである。
ガウス核関数の指数パラメータや核結合係数の学習とは異なり、提案されたpdqkは正の定値二次関数であり、対称正の半定値行列が機械学習アプリケーションで学習可能な部分である。
第2の貢献は、ドメイン適応学習(dal)にpdqkを適用することだ。
提案手法は,ソースドメインとターゲットドメインのデータ間の平均差を最小化してPDQKを学習し,PDQKが生成する最適化RKHSに変換する。
PDQKによって決定されたRKHSがいくつかの最先端のDALアルゴリズムに取って代わる一連の実験を行い、我々のアプローチはより良いパフォーマンスを実現します。
関連論文リスト
- Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。
合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
論文 参考訳（メタデータ） (2024-07-14T09:32:20Z) - Learning "best" kernels from data in Gaussian process regression. With
application to aerodynamics [0.4588028371034406]
本稿では,ガウス過程の回帰/クリギングサロゲートモデリング手法におけるカーネルの選択/設計アルゴリズムを紹介する。
アルゴリズムの最初のクラスはカーネルフローであり、機械学習の分類の文脈で導入された。
アルゴリズムの第2のクラスはスペクトル核リッジ回帰と呼ばれ、近似される関数のノルムが最小となるような「最良の」カーネルを選択することを目的としている。
論文 参考訳（メタデータ） (2022-06-03T07:50:54Z) - Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。
穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。
また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
論文 参考訳（メタデータ） (2022-02-01T17:46:51Z) - Learning with convolution and pooling operations in kernel methods [8.528384027684192]
近年の実証研究により、階層的畳み込みカーネルは、画像分類タスクにおけるカーネルメソッドの性能を向上させることが示されている。
畳み込みアーキテクチャにおける近似と一般化の正確な相互作用について検討する。
この結果から,対象関数に適応したアーキテクチャの選択が,サンプルの複雑性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2021-11-16T09:00:44Z) - Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。
我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。
CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
論文 参考訳（メタデータ） (2021-06-15T04:44:52Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Advanced Stationary and Non-Stationary Kernel Designs for Domain-Aware
Gaussian Processes [0.0]
再生カーネルヒルベルト空間(RKHS)の要素である所望の特性を持つ関数のみを許容する先進カーネル設計を提案する。
いくつかの合成および2つの科学的データセットを用いて、先進的なカーネル設計がガウス過程に与える影響を示す。
論文 参考訳（メタデータ） (2021-02-05T22:07:56Z) - End-to-end Kernel Learning via Generative Random Fourier Features [31.57596752889935]
ランダムフーリエ機能(RFF)は、スペクトルケースでのカーネル学習に有望な方法を提供する。
本稿では,カーネル学習と線形学習を統一フレームワークに組み込む一段階プロセスについて考察する。
論文 参考訳（メタデータ） (2020-09-10T00:27:39Z) - Learning Deep Kernels for Non-Parametric Two-Sample Tests [50.92621794426821]
2組のサンプルが同じ分布から引き出されるかどうかを判定するカーネルベースの2サンプルテストのクラスを提案する。
私たちのテストは、テストパワーを最大化するためにトレーニングされたディープニューラルネットワークによってパラメータ化されたカーネルから構築されます。
論文 参考訳（メタデータ） (2020-02-21T03:54:23Z) - PolyScientist: Automatic Loop Transformations Combined with Microkernels
for Optimization of Deep Learning Primitives [55.79741270235602]
深層学習カーネル開発のためのハイブリッドソリューションを開発する。
我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
論文 参考訳（メタデータ） (2020-02-06T08:02:34Z) - Face Verification via learning the kernel matrix [9.414572104591027]
カーネル関数は非線形パターン認識問題を解決するために導入された。
有望なアプローチは、データからカーネルを自動的に学習することだ。
本稿では,カーネル行列の学習による非線形顔認証を提案する。
論文 参考訳（メタデータ） (2020-01-21T03:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。