論文の概要: Meta-learning Feature Representations for Adaptive Gaussian Processes via Implicit Differentiation

• arxiv url: http://arxiv.org/abs/2205.02708v1
• Date: Thu, 5 May 2022 15:26:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-06 15:18:26.233320
• Title: Meta-learning Feature Representations for Adaptive Gaussian Processes via Implicit Differentiation
• Title（参考訳）: 帰納的微分による適応ガウス過程のメタラーニング特徴表現
• Authors: Wenlin Chen, Austin Tripp, Jos\'e Miguel Hern\'andez-Lobato
• Abstract要約: メタラーニングと従来の学習の補間により深層カーネルを学習するための一般的なフレームワークを提案する。 ADKFは完全に一般的な方法であるが、薬物発見問題に特に適していると論じる。
• 参考スコア（独自算出の注目度）: 1.5293427903448025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Adaptive Deep Kernel Fitting (ADKF), a general framework for learning deep kernels by interpolating between meta-learning and conventional learning. Our approach employs a bilevel optimization objective where we meta-learn feature representations that are generally useful across tasks, in the sense that task-specific Gaussian process models estimated on top of such features achieve the lowest possible predictive loss on average across tasks. We solve the resulting nested optimization problem using the implicit function theorem. We show that ADKF contains Deep Kernel Learning and Deep Kernel Transfer as special cases. Although ADKF is a completely general method, we argue that it is especially well-suited for drug discovery problems and demonstrate that it significantly outperforms previous state-of-the-art methods on a variety of real-world few-shot molecular property prediction tasks and out-of-domain molecular optimization tasks.
• Abstract（参考訳）: 本稿では,メタラーニングと従来の学習の補間によって深層カーネルを学習する一般的なフレームワークであるAdaptive Deep Kernel Fitting (ADKF)を提案する。 このアプローチでは、タスク間で一般的に有用な特徴表現をメタ学習するバイレベル最適化の目標を採用しており、その上で推定されるタスク固有のガウス過程モデルがタスク全体の平均で最も低い予測損失を達成している。 ネスト最適化問題は暗黙関数定理を用いて解く。 本稿では,ADKFがDeep Kernel LearningとDeep Kernel Transferを特別なケースとして含んでいることを示す。 adkfは完全に汎用的な手法であるが、創薬問題には特に適しており、様々な実世界における分子特性予測タスクやドメイン外分子最適化タスクにおいて、従来の最先端手法を大幅に上回っていることを証明している。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation [2.3342885570554652]
  本稿では,プロセスカーネルに対する一括近似と,取得関数に対するMIQP表現を紹介する。 我々は,合成関数,制約付きベンチマーク,ハイパーチューニングタスクに関するフレームワークを実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-22T10:56:52Z)
• Physics Inspired Approaches To Understanding Gaussian Processes [0.9712140341805067]
  本稿では,GPモデルにおける損失状況の解析に物理手法を用いて貢献する。 マターン核に対する$nu$-continuityを示し、損失ランドスケープにおける臨界点におけるカタストロフィ理論の側面を概説する。 また、GPアンサンブルの効果を評価するための事前手法を提案し、損失景観の物理的特性に基づく様々な投票手法について議論する。
  論文  参考訳（メタデータ） (2023-05-18T06:39:07Z)
• A Generalized EigenGame with Extensions to Multiview Representation Learning [0.28647133890966997]
  一般化固有値問題(GEPs)は、様々な興味深い次元減少法を含んでいる。 我々は、ラグランジュ乗算器によって全ての制約がソフトに強制されるGEPの解法を開発する。 線形の場合、我々のアプローチは、以前のヘビアンとゲーム理論のアプローチの理論的根拠の多くを共有していることを示す。 標準マルチビューデータセットの設定におけるGEPの解法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-21T10:11:13Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Multi-Task Learning on Networks [0.0]
  マルチタスク学習コンテキストで発生する多目的最適化問題は、特定の特徴を持ち、アドホックな方法を必要とする。 この論文では、入力空間の解は、関数評価に含まれる知識をカプセル化した確率分布として表現される。 確率分布のこの空間では、ワッサーシュタイン距離によって与えられる計量が与えられ、モデルが目的関数に直接依存しないような新しいアルゴリズムMOEA/WSTを設計することができる。
  論文  参考訳（メタデータ） (2021-12-07T09:13:10Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
  モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。 学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
  論文  参考訳（メタデータ） (2020-06-23T17:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。