論文の概要: Expert Selection in Distributed Gaussian Processes: A Multi-label
Classification Approach
- arxiv url: http://arxiv.org/abs/2211.09940v1
- Date: Thu, 17 Nov 2022 23:23:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 15:44:13.927078
- Title: Expert Selection in Distributed Gaussian Processes: A Multi-label
Classification Approach
- Title（参考訳）: 分散ガウス過程におけるエキスパート選択:マルチラベル分類アプローチ
- Authors: Hamed Jalali and Gjergji Kasneci
- Abstract要約: アンサンブル手法は、ローカルな予測器の完全な多様性を仮定することで、データの分割について訓練されたガウスの専門家による局所的な予測を組み合わせる。
専門家間で依存関係を取ることで、一貫性のある結果を提供するアンサンブルメソッドが可能になる。
本稿では,エントリデータポイントの特性に基づくフレキシブルな専門家選択手法を提案する。
- 参考スコア（独自算出の注目度）: 8.4159776055506
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: By distributing the training process, local approximation reduces the cost of
the standard Gaussian Process. An ensemble technique combines local predictions
from Gaussian experts trained on different partitions of the data by assuming a
perfect diversity of local predictors. Although it keeps the aggregation
tractable, this assumption is often violated in practice. Taking dependencies
between experts enables ensemble methods to provide consistent results.
However, they have a high computational cost, which is cubic in the number of
experts involved. By implementing an expert selection strategy, the final
aggregation step uses fewer experts and is more efficient. Indeed, a static
selection approach that assigns a fixed set of experts to each new data point
cannot encode the specific properties of each unique data point. This paper
proposes a flexible expert selection approach based on the characteristics of
entry data points. To this end, we investigate the selection task as a
multi-label classification problem where the experts define labels, and each
entry point is assigned to some experts. The proposed solution's prediction
quality, efficiency, and asymptotic properties are discussed in detail. We
demonstrate the efficacy of our method through extensive numerical experiments
using synthetic and real-world data sets.
- Abstract（参考訳）: トレーニングプロセスの分散により、局所近似は標準ガウス過程のコストを低減させる。
アンサンブルテクニックは、データの異なる分割で訓練されたガウスの専門家による局所的な予測を、局所的な予測者の完全な多様性を仮定することで組み合わせる。
アグリゲーションは扱いやすいが、実際にはこの仮定はしばしば違反する。
専門家間の依存関係を取ることで、一貫性のある結果を提供することができる。
しかし、計算コストが高いため、関係する専門家の数は3倍になる。
専門家選択戦略を実装することで、最終的な集約ステップは専門家を少なくし、より効率的になる。
実際、新しいデータポイントごとに専門家の固定セットを割り当てる静的選択アプローチでは、各ユニークなデータポイントの特定のプロパティをエンコードすることはできない。
本稿では,入力データ点の特性に基づくフレキシブルなエキスパート選択手法を提案する。
この目的のために,専門家がラベルを定義し,各エントリポイントを専門家に割り当てるマルチラベル分類問題として選択課題を検討する。
提案手法は, 予測品質, 効率, 漸近特性を詳細に検討した。
本手法は,合成および実世界のデータセットを用いた広範囲な数値実験により有効性を示す。
関連論文リスト
- Mixture of Efficient Diffusion Experts Through Automatic Interval and Sub-Network Selection [63.96018203905272]
本稿では, 事前学習した拡散モデルを用いて, 効率の良い専門家の混入を図り, サンプリングコストを削減することを提案する。
提案手法であるDiffPruningの有効性を,複数のデータセットで示す。
論文 参考訳（メタデータ） (2024-09-23T21:27:26Z) - A naive aggregation algorithm for improving generalization in a class of learning problems [0.0]
本稿では,エキスパート・アドバイス・セッティングを用いた一般的な学習問題に対するナイーブ・アグリゲーション・アルゴリズムを提案する。
特に,高次元非線形関数をモデル化するための点推定の学習問題について考察する。
論文 参考訳（メタデータ） (2024-09-06T15:34:17Z) - Revisiting Long-tailed Image Classification: Survey and Benchmarks with
New Evaluation Metrics [88.39382177059747]
メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。
ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
論文 参考訳（メタデータ） (2023-02-03T02:40:54Z) - Multi-View Knowledge Distillation from Crowd Annotations for
Out-of-Domain Generalization [53.24606510691877]
本稿では,既存の手法による分布を集約することで,クラウドアノテーションからソフトラベルを取得する新しい手法を提案する。
これらのアグリゲーション手法は、ドメイン外テストセット上の4つのNLPタスクにおいて、最も一貫したパフォーマンスをもたらすことを実証する。
論文 参考訳（メタデータ） (2022-12-19T12:40:18Z) - An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。
既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。
本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-07T06:50:27Z) - Correlated Product of Experts for Sparse Gaussian Process Regression [2.466065249430993]
そこで本研究では,複数の地域および関連専門家からの予測の集約に基づく新しいアプローチを提案する。
本手法は, 独立系エキスパート製品, スパースGP, フルGPを限定例で回収する。
提案手法は,最先端GP近似法に対して,時間対精度で優れた性能を示す。
論文 参考訳（メタデータ） (2021-12-17T14:14:08Z) - Gaussian Experts Selection using Graphical Models [7.530615321587948]
ローカル近似は、元のデータセットをサブセットに分割し、各サブセットでローカル専門家を訓練することで、時間の複雑さを低減する。
我々は、専門家間の条件依存を符号化するスパース精度行列を用いて、非方向性のグラフィカルモデルに関する文献からのテクニックを活用し、最も重要な専門家を選択する。
論文 参考訳（メタデータ） (2021-02-02T14:12:11Z) - Aggregating Dependent Gaussian Experts in Local Approximation [8.4159776055506]
我々は,条件付き独立の強い違反を検出することによって,ガウスの専門家を集結させる新しいアプローチを提案する。
専門家間の依存関係は、精度行列を生成するガウス図形モデルを用いて決定される。
我々の新しい手法は、SOTAアプローチよりもはるかに時間効率が高く、他の最先端(SOTA)DGP手法よりも優れている。
論文 参考訳（メタデータ） (2020-10-17T21:49:43Z) - A General Method for Robust Learning from Batches [56.59844655107251]
本稿では,バッチから頑健な学習を行う一般的なフレームワークについて考察し,連続ドメインを含む任意の領域に対する分類と分布推定の限界について考察する。
本手法は,一括分節分類,一括分節,単調,対数凹,ガウス混合分布推定のための,最初の頑健な計算効率の学習アルゴリズムを導出する。
論文 参考訳（メタデータ） (2020-02-25T18:53:25Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2020-02-07T21:28:30Z) - Outlier Detection Ensemble with Embedded Feature Selection [42.8338013000469]
組込み特徴選択(ODEFS)を用いた外乱検出アンサンブルフレームワークを提案する。
各ランダムなサブサンプリングベースの学習コンポーネントに対して、ODEFSは、特徴選択と外れ値検出をペアのランキング式に統一する。
我々は、特徴選択と例選択を同時に最適化するために閾値付き自己評価学習を採用する。
論文 参考訳（メタデータ） (2020-01-15T13:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。