論文の概要: Transfer Learning with Kernel Methods

• arxiv url: http://arxiv.org/abs/2211.00227v1
• Date: Tue, 1 Nov 2022 02:32:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 14:19:07.035276
• Title: Transfer Learning with Kernel Methods
• Title（参考訳）: カーネル法による伝達学習
• Authors: Adityanarayanan Radhakrishnan, Max Ruiz Luyten, Neha Prasad, Caroline Uhler
• Abstract要約: 本稿では,ソースモデルをターゲットタスクに投影・翻訳することで,カーネルメソッドの転送学習フレームワークを提案する。 大規模な画像データセットでトレーニングされた現代のカーネルの転送により、性能が大幅に向上することを示した。 また, 癌細胞株に対する薬剤の効果を, より正確に予測できることが示唆された。
• 参考スコア（独自算出の注目度）: 7.4566384906383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning refers to the process of adapting a model trained on a source task to a target task. While kernel methods are conceptually and computationally simple machine learning models that are competitive on a variety of tasks, it has been unclear how to perform transfer learning for kernel methods. In this work, we propose a transfer learning framework for kernel methods by projecting and translating the source model to the target task. We demonstrate the effectiveness of our framework in applications to image classification and virtual drug screening. In particular, we show that transferring modern kernels trained on large-scale image datasets can result in substantial performance increase as compared to using the same kernel trained directly on the target task. In addition, we show that transfer-learned kernels allow a more accurate prediction of the effect of drugs on cancer cell lines. For both applications, we identify simple scaling laws that characterize the performance of transfer-learned kernels as a function of the number of target examples. We explain this phenomenon in a simplified linear setting, where we are able to derive the exact scaling laws. By providing a simple and effective transfer learning framework for kernel methods, our work enables kernel methods trained on large datasets to be easily adapted to a variety of downstream target tasks.
• Abstract（参考訳）: 転送学習とは、ソースタスクでトレーニングされたモデルをターゲットタスクに適応させるプロセスを指す。 カーネルメソッドは、概念的にも計算上もシンプルな機械学習モデルであり、様々なタスクで競合するが、カーネルメソッドの転送学習を実行する方法が不明確である。 本研究では,ソースモデルをターゲットタスクに投影し,翻訳することで,カーネルメソッドの転送学習フレームワークを提案する。 画像分類および仮想薬物スクリーニングへの応用におけるフレームワークの有効性を実証する。 特に,大規模画像データセットでトレーニングされた現代的なカーネルの転送は,ターゲットタスクで直接トレーニングされた同じカーネルを使用する場合と比較して大幅にパフォーマンスが向上する可能性がある。 さらに,移植誘導核は癌細胞株に対する薬物の影響をより正確に予測できることを示した。 いずれのアプリケーションにおいても,転送先カーネルの性能を対象とするサンプル数の関数として特徴付ける,単純なスケーリング則を同定する。 我々は、この現象を単純な線形設定で説明し、正確なスケーリング則を導出することができる。 カーネルメソッドのためのシンプルで効果的な転送学習フレームワークを提供することで、大規模なデータセットでトレーニングされたカーネルメソッドを、さまざまなダウンストリームターゲットタスクに容易に適応させることができる。

関連論文リスト

• Top-Tuning: a study on transfer learning for an efficient alternative to fine tuning for image classification with fast kernel methods [12.325059377851485]
  本稿では,事前学習した畳み込み特徴を高速なカーネル手法の入力として活用する,簡単なトランスファー学習手法を提案する。 トップチューニングアプローチは,1～2桁のトレーニング時間を桁違いに小さくすることで,微調整に対して同等の精度を提供することを示す。
  論文  参考訳（メタデータ） (2022-09-16T13:46:59Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• A Framework and Benchmark for Deep Batch Active Learning for Regression [2.093287944284448]
  ラベル付きデータのバッチを適応的に選択する能動的学習法について検討した。 本稿では,ネットワークに依存した)ベースカーネル,カーネル変換,選択メソッドからそのようなメソッドを構築するためのフレームワークを提案する。 提案手法は,我々のベンチマークの最先端性,大規模データセットへのスケール,ネットワークアーキテクチャやトレーニングコードを調整することなく,アウト・オブ・ボックスで動作する。
  論文  参考訳（メタデータ） (2022-03-17T16:11:36Z)
• Generative Kernel Continual learning [117.79080100313722]
  本稿では、生成モデルとカーネル間の相乗効果を利用して連続学習を行う、生成カーネル連続学習を紹介する。 生成モデルは、カーネル学習のための代表サンプルを生成することができ、カーネル連続学習におけるメモリ依存を取り除くことができる。 コントリビューションの能力とメリットを示すために,広く利用されている3つの連続学習ベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-12-26T16:02:10Z)
• Kernel Continual Learning [117.79080100313722]
  カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。 エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。 タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
  論文  参考訳（メタデータ） (2021-07-12T22:09:30Z)
• MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
  少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。 マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
  論文  参考訳（メタデータ） (2021-05-08T21:24:09Z)
• Every Model Learned by Gradient Descent Is Approximately a Kernel Machine [0.0]
  ディープラーニングの成功は、しばしばデータの新しい表現を自動的に発見する能力に起因している。 しかし, 標準勾配勾配法により学習されたディープネットワークは, 数学的にカーネルマシンとほぼ同等であることを示す。
  論文  参考訳（メタデータ） (2020-11-30T23:02:47Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)
• Minimax Lower Bounds for Transfer Learning with Linear and One-hidden Layer Neural Networks [27.44348371795822]
  転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。 ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
  論文  参考訳（メタデータ） (2020-06-16T22:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。