論文の概要: Fast Deep Mixtures of Gaussian Process Experts

• arxiv url: http://arxiv.org/abs/2006.13309v4
• Date: Fri, 1 Dec 2023 01:03:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 19:27:40.532851
• Title: Fast Deep Mixtures of Gaussian Process Experts
• Title（参考訳）: ガウスのプロセスエキスパートの高速な混合
• Authors: Clement Etienam, Kody Law, Sara Wade, Vitaly Zankin
• Abstract要約: 教師付き学習コンテキストにおけるフレキシブルなモデリングには,専門家の混在が不可欠である。 本稿では、ディープニューラルネットワーク(DNN)を用いて、スパースGPから専門家を選択するためのゲーティングネットワークの設計を提案する。 CCR (Cluster-Classify-Regress) と呼ばれる高速なワンパスアルゴリズムを用いて、最大後部推定器(MAP)を極端に高速に近似する。
• 参考スコア（独自算出の注目度）: 0.6554326244334868
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixtures of experts have become an indispensable tool for flexible modelling in a supervised learning context, allowing not only the mean function but the entire density of the output to change with the inputs. Sparse Gaussian processes (GP) have shown promise as a leading candidate for the experts in such models, and in this article, we propose to design the gating network for selecting the experts from such mixtures of sparse GPs using a deep neural network (DNN). Furthermore, a fast one pass algorithm called Cluster-Classify-Regress (CCR) is leveraged to approximate the maximum a posteriori (MAP) estimator extremely quickly. This powerful combination of model and algorithm together delivers a novel method which is flexible, robust, and extremely efficient. In particular, the method is able to outperform competing methods in terms of accuracy and uncertainty quantification. The cost is competitive on low-dimensional and small data sets, but is significantly lower for higher-dimensional and big data sets. Iteratively maximizing the distribution of experts given allocations and allocations given experts does not provide significant improvement, which indicates that the algorithm achieves a good approximation to the local MAP estimator very fast. This insight can be useful also in the context of other mixture of experts models.
• Abstract（参考訳）: 専門家の混合物は教師付き学習コンテキストにおいて柔軟なモデリングのための不可欠のツールとなり、平均関数だけでなく、出力全体の密度も入力によって変化する。 sparse gaussian process (gp) は,このようなモデルのエキスパートの有力候補として期待されている。本論文では,dnn(deep neural network)を用いて,sparse gpsの混合物から専門家を選定するためのゲーティングネットワークの設計を提案する。 さらに、CCR(Cluster-Classify-Regress)と呼ばれる高速な1回通過アルゴリズムを用いて、極端に高速なMAP推定器を近似する。 このモデルとアルゴリズムの強力な組み合わせは、柔軟で堅牢で極めて効率的な新しい方法を提供します。 特に、この手法は、精度と不確実性定量化の観点から競合する手法より優れている。 コストは低次元データセットと小型データセットで競合するが、高次元データセットと大規模データセットでは著しく低い。 与えられたアロケーションとアロケーションの配分を反復的に最大化する手法では,アルゴリズムがローカルMAP推定器に非常に高速な近似を達成できることを示すため,大幅な改善は得られない。 この洞察は、他の専門家モデルの混合の文脈でも有用である。

関連論文リスト

• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• Mixture of Efficient Diffusion Experts Through Automatic Interval and Sub-Network Selection [63.96018203905272]
  本稿では, 事前学習した拡散モデルを用いて, 効率の良い専門家の混入を図り, サンプリングコストを削減することを提案する。 提案手法であるDiffPruningの有効性を,複数のデータセットで示す。
  論文  参考訳（メタデータ） (2024-09-23T21:27:26Z)
• Gradient-free variational learning with conditional mixture networks [39.827869318925494]
  条件付き混合ネットワーク(CMN)は、高速で勾配のない推論に適しており、複雑な分類タスクを解くことができる。 UCIレポジトリから標準ベンチマークで2層CMNをトレーニングすることで、このアプローチを検証する。 提案手法であるCAVI-CMNは,バックプロパゲーションを伴う最大推定値(MLE)と比較して,競合的かつしばしば優れた予測精度を実現する。
  論文  参考訳（メタデータ） (2024-08-29T10:43:55Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
  本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。 また、局所的な一貫性の結果に基づいた理論的保証も提供する。 この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
  論文  参考訳（メタデータ） (2022-11-17T15:48:06Z)
• Generalizable Mixed-Precision Quantization via Attribution Rank Preservation [90.26603048354575]
  効率的な推論のための一般化可能な混合精度量子化法(GMPQ)を提案する。 提案手法は,最先端の混合精度ネットワークと比較し,競合精度・複雑度トレードオフを求める。
  論文  参考訳（メタデータ） (2021-08-05T16:41:57Z)
• Mixture of ELM based experts with trainable gating network [2.320417845168326]
  本研究では,専門家の混在に基づくアンサンブル学習手法を提案する。 MEの構造は、ベースエキスパートとゲーティングネットワークとして多層パーセプトロン(MLP)から構成される。 提案手法では,訓練可能なゲーティングネットワークを用いて専門家の出力を集約する。
  論文  参考訳（メタデータ） (2021-05-25T07:13:35Z)
• Gaussian Experts Selection using Graphical Models [7.530615321587948]
  ローカル近似は、元のデータセットをサブセットに分割し、各サブセットでローカル専門家を訓練することで、時間の複雑さを低減する。 我々は、専門家間の条件依存を符号化するスパース精度行列を用いて、非方向性のグラフィカルモデルに関する文献からのテクニックを活用し、最も重要な専門家を選択する。
  論文  参考訳（メタデータ） (2021-02-02T14:12:11Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)
• Aggregating Dependent Gaussian Experts in Local Approximation [8.4159776055506]
  我々は,条件付き独立の強い違反を検出することによって,ガウスの専門家を集結させる新しいアプローチを提案する。 専門家間の依存関係は、精度行列を生成するガウス図形モデルを用いて決定される。 我々の新しい手法は、SOTAアプローチよりもはるかに時間効率が高く、他の最先端(SOTA)DGP手法よりも優れている。
  論文  参考訳（メタデータ） (2020-10-17T21:49:43Z)
• Beyond the Mean-Field: Structured Deep Gaussian Processes Improve the Predictive Uncertainties [12.068153197381575]
  高速収束を達成しつつ、潜在過程間の共分散を維持できる新しい変分族を提案する。 新しいアプローチの効率的な実装を提供し、それをいくつかのベンチマークデータセットに適用します。 優れた結果をもたらし、最先端の代替品よりも精度とキャリブレーションされた不確実性推定とのバランスが良くなる。
  論文  参考訳（メタデータ） (2020-05-22T11:10:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。