論文の概要: Self-Distillation for Gaussian Process Regression and Classification

• arxiv url: http://arxiv.org/abs/2304.02641v1
• Date: Wed, 5 Apr 2023 17:59:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-06 11:48:08.188959
• Title: Self-Distillation for Gaussian Process Regression and Classification
• Title（参考訳）: ガウス過程回帰と分類のための自己蒸留
• Authors: Kenneth Borup and Lars N{\o}rvang Andersen
• Abstract要約: 本稿では,知識蒸留の概念をガウスプロセス回帰(GPR)とガウスプロセス分類(GPC)に拡張する2つのアプローチを提案する。 データ中心のアプローチは、機械学習の現在の蒸留技術に似ており、教師による決定論的予測のモデルに適合する。 分布中心のアプローチは、次のイテレーションの完全な確率的後部を再利用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose two approaches to extend the notion of knowledge distillation to Gaussian Process Regression (GPR) and Gaussian Process Classification (GPC); data-centric and distribution-centric. The data-centric approach resembles most current distillation techniques for machine learning, and refits a model on deterministic predictions from the teacher, while the distribution-centric approach, re-uses the full probabilistic posterior for the next iteration. By analyzing the properties of these approaches, we show that the data-centric approach for GPR closely relates to known results for self-distillation of kernel ridge regression and that the distribution-centric approach for GPR corresponds to ordinary GPR with a very particular choice of hyperparameters. Furthermore, we demonstrate that the distribution-centric approach for GPC approximately corresponds to data duplication and a particular scaling of the covariance and that the data-centric approach for GPC requires redefining the model from a Binomial likelihood to a continuous Bernoulli likelihood to be well-specified. To the best of our knowledge, our proposed approaches are the first to formulate knowledge distillation specifically for Gaussian Process models.
• Abstract（参考訳）: 本稿では,知識蒸留の概念をガウスプロセス回帰(GPR)とガウスプロセス分類(GPC)に拡張する2つの手法を提案する。 データ中心のアプローチは、機械学習の現行の蒸留技術に似ており、教師による決定論的予測のモデルに適合する一方、分散中心のアプローチは、次のイテレーションの完全な確率論的後部を再利用する。 これらの手法の特性を解析することにより、GPRのデータ中心のアプローチは、カーネルリッジ回帰の自己蒸留に関する既知の結果と密接に関連し、GPRの分布中心のアプローチは、非常に特殊なハイパーパラメータの選択を伴う通常のGPRに対応することを示す。 さらに,gpcの分布中心アプローチは,データ重複と特定の共分散のスケーリングとほぼ一致し,データ中心アプローチでは,二項的確率から連続的ベルヌーイ確率へのモデルの再定義が必要となることを示した。 我々の知識を最大限に活用するために,提案手法はガウス過程モデルに特化した知識蒸留を初めて定式化したものである。

関連論文リスト

• A Generalized Unified Skew-Normal Process with Neural Bayes Inference [1.5388334141379898]
  近年、統計学者は非対称性や重尾のような非ガウス的な振る舞いを示す空間データに遭遇している。 ガウスモデルの限界に対処するため、様々な歪んだモデルが提案され、その人気は急速に高まっている。 文学における様々な提案の中で、統一スキュー・ノルマル(SUN)のような統一スキュー分布が注目されている。
  論文  参考訳（メタデータ） (2024-11-26T13:00:39Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Explainable Learning with Gaussian Processes [23.796560256071473]
  我々は、モデル不確実性の下で属性を定義するために原則化されたアプローチをとっており、既存の文献を拡張している。 GPRは非常に柔軟で非パラメトリックなアプローチであるが、特徴属性に対する解釈可能でクローズドな表現を導出できることを示す。 また、適用すれば、GPR属性の正確な式は、現在使われている近似よりも正確で計算コストが低いことも示している。
  論文  参考訳（メタデータ） (2024-03-11T18:03:02Z)
• Sparse Variational Contaminated Noise Gaussian Process Regression with Applications in Geomagnetic Perturbations Forecasting [4.675221539472143]
  大規模なデータセットに正規ノイズが汚染されたスパースガウス過程回帰モデルを適用するためのスケーラブルな推論アルゴリズムを提案する。 提案手法は, 人工ニューラルネットワークベースラインと比較して, 類似のカバレッジと精度の予測間隔が短いことを示す。
  論文  参考訳（メタデータ） (2024-02-27T15:08:57Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
  異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。 モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
  論文  参考訳（メタデータ） (2023-08-29T15:01:01Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Gaussian Graphical Models as an Ensemble Method for Distributed Gaussian Processes [8.4159776055506]
  我々はガウスの専門家の予測をガウス図形モデル(GGM)により集約する新しいアプローチを提案する。 まず、予測最大化(EM)アルゴリズムを用いて、潜伏変数と観測変数の合同分布を推定する。 我々の新しい手法は他の最先端のDGP手法よりも優れている。
  論文  参考訳（メタデータ） (2022-02-07T15:22:56Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Incorporating Causal Graphical Prior Knowledge into Predictive Modeling via Simple Data Augmentation [92.96204497841032]
  因果グラフ(CG)は、データ分散の背後にあるデータ生成プロセスの知識のコンパクトな表現である。 本研究では,条件付き独立性(CI)関係の事前知識を活用可能なモデルに依存しないデータ拡張手法を提案する。 本手法は,小データシステムにおける予測精度の向上に有効であることを実験的に示した。
  論文  参考訳（メタデータ） (2021-02-27T06:13:59Z)
• Gaussian Process Regression with Local Explanation [28.90948136731314]
  本稿では,各サンプルの予測に寄与する特徴を明らかにするため,局所的な説明を伴うGPRを提案する。 提案モデルでは,各サンプルの予測と説明を,容易に解釈可能な局所線形モデルを用いて行う。 新しい試験サンプルでは, 対象変数と重みベクトルの値と不確かさを予測できる。
  論文  参考訳（メタデータ） (2020-07-03T13:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。