論文の概要: Aggregating Dependent Gaussian Experts in Local Approximation

• arxiv url: http://arxiv.org/abs/2010.08873v1
• Date: Sat, 17 Oct 2020 21:49:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 11:41:53.582353
• Title: Aggregating Dependent Gaussian Experts in Local Approximation
• Title（参考訳）: 局所近似における依存ガウスエキスパートの集約
• Authors: Hamed Jalali, Gjergji Kasneci
• Abstract要約: 我々は,条件付き独立の強い違反を検出することによって,ガウスの専門家を集結させる新しいアプローチを提案する。 専門家間の依存関係は、精度行列を生成するガウス図形モデルを用いて決定される。 我々の新しい手法は、SOTAアプローチよりもはるかに時間効率が高く、他の最先端(SOTA)DGP手法よりも優れている。
• 参考スコア（独自算出の注目度）: 8.4159776055506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed Gaussian processes (DGPs) are prominent local approximation methods to scale Gaussian processes (GPs) to large datasets. Instead of a global estimation, they train local experts by dividing the training set into subsets, thus reducing the time complexity. This strategy is based on the conditional independence assumption, which basically means that there is a perfect diversity between the local experts. In practice, however, this assumption is often violated, and the aggregation of experts leads to sub-optimal and inconsistent solutions. In this paper, we propose a novel approach for aggregating the Gaussian experts by detecting strong violations of conditional independence. The dependency between experts is determined by using a Gaussian graphical model, which yields the precision matrix. The precision matrix encodes conditional dependencies between experts and is used to detect strongly dependent experts and construct an improved aggregation. Using both synthetic and real datasets, our experimental evaluations illustrate that our new method outperforms other state-of-the-art (SOTA) DGP approaches while being substantially more time-efficient than SOTA approaches, which build on independent experts.
• Abstract（参考訳）: 分散ガウス過程(DGP)は、ガウス過程(GP)を大規模データセットに拡張する局所近似法である。 グローバルな見積もりではなく、トレーニングセットをサブセットに分割することで、地元の専門家をトレーニングすることで、時間の複雑さを低減します。 この戦略は条件付き独立の仮定に基づいており、基本的には地元の専門家の間に完全な多様性があることを意味する。 しかし実際には、この仮定はしばしば破られ、専門家の集まりは最適で一貫性のない解決につながる。 本稿では,ガウスの専門家を条件付き独立の強い違反を検知して集約する手法を提案する。 専門家間の依存関係は、精度行列を生成するガウス図形モデルを用いて決定される。 精度行列は、専門家間の条件依存を符号化し、強い依存する専門家を検出し、改善された集約を構築するために使用される。 合成データと実データの両方を用いて実験した結果,本手法はsomaアプローチよりも時間効率が向上する一方,独立した専門家を基盤としたsomaアプローチよりも優れていることが示された。

関連論文リスト

• Mixture of Efficient Diffusion Experts Through Automatic Interval and Sub-Network Selection [63.96018203905272]
  本稿では, 事前学習した拡散モデルを用いて, 効率の良い専門家の混入を図り, サンプリングコストを削減することを提案する。 提案手法であるDiffPruningの有効性を,複数のデータセットで示す。
  論文  参考訳（メタデータ） (2024-09-23T21:27:26Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Entry Dependent Expert Selection in Distributed Gaussian Processes Using Multilabel Classification [12.622412402489951]
  アンサンブルのテクニックは、データ分割を訓練したガウスの専門家による局所的な予測を組み合わせる。 本稿では,エントリデータポイントの特性に基づくフレキシブルな専門家選択手法を提案する。
  論文  参考訳（メタデータ） (2022-11-17T23:23:26Z)
• Gaussian Graphical Models as an Ensemble Method for Distributed Gaussian Processes [8.4159776055506]
  我々はガウスの専門家の予測をガウス図形モデル(GGM)により集約する新しいアプローチを提案する。 まず、予測最大化(EM)アルゴリズムを用いて、潜伏変数と観測変数の合同分布を推定する。 我々の新しい手法は他の最先端のDGP手法よりも優れている。
  論文  参考訳（メタデータ） (2022-02-07T15:22:56Z)
• Correlated Product of Experts for Sparse Gaussian Process Regression [2.466065249430993]
  そこで本研究では,複数の地域および関連専門家からの予測の集約に基づく新しいアプローチを提案する。 本手法は, 独立系エキスパート製品, スパースGP, フルGPを限定例で回収する。 提案手法は,最先端GP近似法に対して,時間対精度で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-12-17T14:14:08Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Gaussian Experts Selection using Graphical Models [7.530615321587948]
  ローカル近似は、元のデータセットをサブセットに分割し、各サブセットでローカル専門家を訓練することで、時間の複雑さを低減する。 我々は、専門家間の条件依存を符号化するスパース精度行列を用いて、非方向性のグラフィカルモデルに関する文献からのテクニックを活用し、最も重要な専門家を選択する。
  論文  参考訳（メタデータ） (2021-02-02T14:12:11Z)
• Fast Deep Mixtures of Gaussian Process Experts [0.6554326244334868]
  教師付き学習コンテキストにおけるフレキシブルなモデリングには,専門家の混在が不可欠である。 本稿では、ディープニューラルネットワーク(DNN)を用いて、スパースGPから専門家を選択するためのゲーティングネットワークの設計を提案する。 CCR (Cluster-Classify-Regress) と呼ばれる高速なワンパスアルゴリズムを用いて、最大後部推定器(MAP)を極端に高速に近似する。
  論文  参考訳（メタデータ） (2020-06-11T18:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。