論文の概要: Gaussian Experts Selection using Graphical Models

• arxiv url: http://arxiv.org/abs/2102.01496v1
• Date: Tue, 2 Feb 2021 14:12:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-04 00:41:35.387094
• Title: Gaussian Experts Selection using Graphical Models
• Title（参考訳）: グラフモデルを用いたガウス専門家の選択
• Authors: Hamed Jalali, Martin Pawelczyk, Gjerji Kasneci
• Abstract要約: ローカル近似は、元のデータセットをサブセットに分割し、各サブセットでローカル専門家を訓練することで、時間の複雑さを低減する。 我々は、専門家間の条件依存を符号化するスパース精度行列を用いて、非方向性のグラフィカルモデルに関する文献からのテクニックを活用し、最も重要な専門家を選択する。
• 参考スコア（独自算出の注目度）: 1.6114012813668934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Local approximations are popular methods to scale Gaussian processes (GPs) to big data. Local approximations reduce time complexity by dividing the original dataset into subsets and training a local expert on each subset. Aggregating the experts' prediction is done assuming either conditional dependence or independence between the experts. Imposing the \emph{conditional independence assumption} (CI) between the experts renders the aggregation of different expert predictions time efficient at the cost of poor uncertainty quantification. On the other hand, modeling dependent experts can provide precise predictions and uncertainty quantification at the expense of impractically high computational costs. By eliminating weak experts via a theory-guided expert selection step, we substantially reduce the computational cost of aggregating dependent experts while ensuring calibrated uncertainty quantification. We leverage techniques from the literature on undirected graphical models, using sparse precision matrices that encode conditional dependencies between experts to select the most important experts. Moreov
• Abstract（参考訳）: 局所近似はガウス過程(GP)をビッグデータに拡張する一般的な手法である。 ローカル近似は、元のデータセットをサブセットに分割し、各サブセットでローカルエキスパートをトレーニングすることで、時間の複雑さを低減する。 専門家の予測の集約は、専門家間の条件依存または独立を仮定して行われる。 専門家間の \emph{conditional independent assumption} (CI) を課すと、異なる専門家の予測の集約が、不確実性の定量化のコストで時間効率良く行われる。 一方、モデルに依存する専門家は、非現実的に高い計算コストを犠牲にして正確な予測と不確実性定量を提供することができる。 理論ガイドによる専門家選定ステップを通じて弱い専門家を排除することにより、依存専門家を集約する計算コストを大幅に削減し、校正された不確実性の定量化を確保します。 専門家間の条件付き依存関係をエンコードするスパース精度行列を使用して,最も重要な専門家を選択することで,無向なグラフィカルモデルに関する文献の手法を活用する。 モレロフ

関連論文リスト

• Expert Selection in Distributed Gaussian Processes: A Multi-label Classification Approach [8.4159776055506]
  アンサンブル手法は、ローカルな予測器の完全な多様性を仮定することで、データの分割について訓練されたガウスの専門家による局所的な予測を組み合わせる。 専門家間で依存関係を取ることで、一貫性のある結果を提供するアンサンブルメソッドが可能になる。 本稿では,エントリデータポイントの特性に基づくフレキシブルな専門家選択手法を提案する。
  論文  参考訳（メタデータ） (2022-11-17T23:23:26Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)
• On the Representation Collapse of Sparse Mixture of Experts [102.83396489230375]
  専門家のまばらな混合は、一定の計算オーバーヘッドを必要としながら、より大きなモデルキャパシティを提供する。 入力トークンを隠された表現に従ってベストマッチした専門家に分散するためにルーティング機構を使用する。 しかし、そのようなルーティングメカニズムを学ぶことで、専門家のセントロイドを中心にトークンのクラスタリングが促進され、表現の崩壊の傾向が示唆される。
  論文  参考訳（メタデータ） (2022-04-20T01:40:19Z)
• Correlated Product of Experts for Sparse Gaussian Process Regression [2.466065249430993]
  そこで本研究では,複数の地域および関連専門家からの予測の集約に基づく新しいアプローチを提案する。 本手法は, 独立系エキスパート製品, スパースGP, フルGPを限定例で回収する。 提案手法は,最先端GP近似法に対して,時間対精度で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-12-17T14:14:08Z)
• Bias-Variance Tradeoffs in Single-Sample Binary Gradient Estimators [100.58924375509659]
  ストレートスルー (ST) 推定器はその単純さと効率性から人気を得た。 計算の複雑さを低く保ちながら、STよりも改善するいくつかの手法が提案された。 我々は、トレードオフを理解し、元来主張された特性を検証するために、これらの手法のバイアスとばらつきの理論解析を行う。
  論文  参考訳（メタデータ） (2021-10-07T15:16:07Z)
• Uncertainty-aware Remaining Useful Life predictor [57.74855412811814]
  有効寿命 (Remaining Useful Life, RUL) とは、特定の産業資産の運用期間を推定する問題である。 本研究では,Deep Gaussian Processes (DGPs) を,前述の制限に対する解決策と捉える。 アルゴリズムの性能はNASAの航空機エンジン用N-CMAPSSデータセットで評価される。
  論文  参考訳（メタデータ） (2021-04-08T08:50:44Z)
• Incorporating Causal Graphical Prior Knowledge into Predictive Modeling via Simple Data Augmentation [92.96204497841032]
  因果グラフ(CG)は、データ分散の背後にあるデータ生成プロセスの知識のコンパクトな表現である。 本研究では,条件付き独立性(CI)関係の事前知識を活用可能なモデルに依存しないデータ拡張手法を提案する。 本手法は,小データシステムにおける予測精度の向上に有効であることを実験的に示した。
  論文  参考訳（メタデータ） (2021-02-27T06:13:59Z)
• Healing Products of Gaussian Processes [21.892542043785845]
  現地の専門家の予測をWassersteinバリセンタの計算により組み合わせた,新たなエキスパートモデルを提案する。 特に,wasserstein barycenterを計算し,現地の専門家の予測を組み合わせる新しい経験則モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-14T08:53:43Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [89.01584399789951]
  歴史的専門家の意思決定を豊富な情報源として利用することを検討します。 観察されたラベルだけで学習する制限を緩和するために活用できることを示しています。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)
• Aggregating Dependent Gaussian Experts in Local Approximation [8.4159776055506]
  我々は,条件付き独立の強い違反を検出することによって,ガウスの専門家を集結させる新しいアプローチを提案する。 専門家間の依存関係は、精度行列を生成するガウス図形モデルを用いて決定される。 我々の新しい手法は、SOTAアプローチよりもはるかに時間効率が高く、他の最先端(SOTA)DGP手法よりも優れている。
  論文  参考訳（メタデータ） (2020-10-17T21:49:43Z)
• Fast Deep Mixtures of Gaussian Process Experts [0.4588028371034407]
  教師付き学習コンテキストにおけるフレキシブルなモデリングには,専門家の混在が不可欠である。 本稿では,深層ニューラルネットワーク(DNN)を用いて,スパースGPの混合物から専門家を選別するゲーティングネットワークの設計を提案する。 CCR (Cluster-Classify-Regress) と呼ばれる高速なワンパスアルゴリズムを用いて、最大後部推定器(MAP)を極端に高速に近似する。
  論文  参考訳（メタデータ） (2020-06-11T18:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。