論文の概要: Entry Dependent Expert Selection in Distributed Gaussian Processes Using
Multilabel Classification
- arxiv url: http://arxiv.org/abs/2211.09940v2
- Date: Mon, 8 Jan 2024 15:33:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 00:35:37.743531
- Title: Entry Dependent Expert Selection in Distributed Gaussian Processes Using
Multilabel Classification
- Title（参考訳）: マルチラベル分類を用いた分散ガウス過程のエキスパート選択
- Authors: Hamed Jalali and Gjergji Kasneci
- Abstract要約: アンサンブルのテクニックは、データ分割を訓練したガウスの専門家による局所的な予測を組み合わせる。
本稿では,エントリデータポイントの特性に基づくフレキシブルな専門家選択手法を提案する。
- 参考スコア（独自算出の注目度）: 12.622412402489951
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: By distributing the training process, local approximation reduces the cost of
the standard Gaussian Process. An ensemble technique combines local predictions
from Gaussian experts trained on different partitions of the data. Ensemble
methods aggregate models' predictions by assuming a perfect diversity of local
predictors. Although it keeps the aggregation tractable, this assumption is
often violated in practice. Even though ensemble methods provide consistent
results by assuming dependencies between experts, they have a high
computational cost, which is cubic in the number of experts involved. By
implementing an expert selection strategy, the final aggregation step uses
fewer experts and is more efficient. However, a selection approach that assigns
a fixed set of experts to each new data point cannot encode the specific
properties of each unique data point. This paper proposes a flexible expert
selection approach based on the characteristics of entry data points. To this
end, we investigate the selection task as a multi-label classification problem
where the experts define labels, and each entry point is assigned to some
experts. The proposed solution's prediction quality, efficiency, and asymptotic
properties are discussed in detail. We demonstrate the efficacy of our method
through extensive numerical experiments using synthetic and real-world data
sets.
- Abstract（参考訳）: トレーニングプロセスの分散により、局所近似は標準ガウス過程のコストを低減させる。
アンサンブルのテクニックは、データ分割を訓練したガウスの専門家による局所的な予測を組み合わせる。
アンサンブル法は、局所予測器の完全な多様性を仮定してモデルの予測を集約する。
アグリゲーションは扱いやすいが、実際にはこの仮定はしばしば違反する。
アンサンブル法は専門家間の依存関係を仮定して一貫した結果を与えるが、計算コストが高く、関係する専門家の数は3倍になる。
専門家選択戦略を実装することで、最終的な集約ステップは専門家を少なくし、より効率的になる。
しかしながら、新しいデータポイントごとに専門家の固定セットを割り当てる選択アプローチでは、各ユニークなデータポイントの特定のプロパティをエンコードすることはできない。
本稿では,入力データ点の特性に基づくフレキシブルなエキスパート選択手法を提案する。
この目的のために,専門家がラベルを定義し,各エントリポイントを専門家に割り当てるマルチラベル分類問題として選択課題を検討する。
提案手法は, 予測品質, 効率, 漸近特性を詳細に検討した。
本手法は,合成および実世界のデータセットを用いた広範囲な数値実験により有効性を示す。
関連論文リスト
- Mixture of Efficient Diffusion Experts Through Automatic Interval and Sub-Network Selection [63.96018203905272]
本稿では, 事前学習した拡散モデルを用いて, 効率の良い専門家の混入を図り, サンプリングコストを削減することを提案する。
提案手法であるDiffPruningの有効性を,複数のデータセットで示す。
論文 参考訳（メタデータ） (2024-09-23T21:27:26Z) - A naive aggregation algorithm for improving generalization in a class of learning problems [0.0]
本稿では,エキスパート・アドバイス・セッティングを用いた一般的な学習問題に対するナイーブ・アグリゲーション・アルゴリズムを提案する。
特に,高次元非線形関数をモデル化するための点推定の学習問題について考察する。
論文 参考訳（メタデータ） (2024-09-06T15:34:17Z) - Revisiting Long-tailed Image Classification: Survey and Benchmarks with
New Evaluation Metrics [88.39382177059747]
メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。
ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
論文 参考訳（メタデータ） (2023-02-03T02:40:54Z) - Multi-View Knowledge Distillation from Crowd Annotations for
Out-of-Domain Generalization [53.24606510691877]
本稿では,既存の手法による分布を集約することで,クラウドアノテーションからソフトラベルを取得する新しい手法を提案する。
これらのアグリゲーション手法は、ドメイン外テストセット上の4つのNLPタスクにおいて、最も一貫したパフォーマンスをもたらすことを実証する。
論文 参考訳（メタデータ） (2022-12-19T12:40:18Z) - An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。
既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。
本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-07T06:50:27Z) - Correlated Product of Experts for Sparse Gaussian Process Regression [2.466065249430993]
そこで本研究では,複数の地域および関連専門家からの予測の集約に基づく新しいアプローチを提案する。
本手法は, 独立系エキスパート製品, スパースGP, フルGPを限定例で回収する。
提案手法は,最先端GP近似法に対して,時間対精度で優れた性能を示す。
論文 参考訳（メタデータ） (2021-12-17T14:14:08Z) - Gaussian Experts Selection using Graphical Models [7.530615321587948]
ローカル近似は、元のデータセットをサブセットに分割し、各サブセットでローカル専門家を訓練することで、時間の複雑さを低減する。
我々は、専門家間の条件依存を符号化するスパース精度行列を用いて、非方向性のグラフィカルモデルに関する文献からのテクニックを活用し、最も重要な専門家を選択する。
論文 参考訳（メタデータ） (2021-02-02T14:12:11Z) - Aggregating Dependent Gaussian Experts in Local Approximation [8.4159776055506]
我々は,条件付き独立の強い違反を検出することによって,ガウスの専門家を集結させる新しいアプローチを提案する。
専門家間の依存関係は、精度行列を生成するガウス図形モデルを用いて決定される。
我々の新しい手法は、SOTAアプローチよりもはるかに時間効率が高く、他の最先端(SOTA)DGP手法よりも優れている。
論文 参考訳（メタデータ） (2020-10-17T21:49:43Z) - A General Method for Robust Learning from Batches [56.59844655107251]
本稿では,バッチから頑健な学習を行う一般的なフレームワークについて考察し,連続ドメインを含む任意の領域に対する分類と分布推定の限界について考察する。
本手法は,一括分節分類,一括分節,単調,対数凹,ガウス混合分布推定のための,最初の頑健な計算効率の学習アルゴリズムを導出する。
論文 参考訳（メタデータ） (2020-02-25T18:53:25Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2020-02-07T21:28:30Z) - Outlier Detection Ensemble with Embedded Feature Selection [42.8338013000469]
組込み特徴選択(ODEFS)を用いた外乱検出アンサンブルフレームワークを提案する。
各ランダムなサブサンプリングベースの学習コンポーネントに対して、ODEFSは、特徴選択と外れ値検出をペアのランキング式に統一する。
我々は、特徴選択と例選択を同時に最適化するために閾値付き自己評価学習を採用する。
論文 参考訳（メタデータ） (2020-01-15T13:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。