論文の概要: Functional mixture-of-experts for classification
- arxiv url: http://arxiv.org/abs/2202.13934v1
- Date: Mon, 28 Feb 2022 16:33:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 13:31:44.440559
- Title: Functional mixture-of-experts for classification
- Title(参考訳): 機能混合物の分類
- Authors: Nhat Thien Pham and Faicel Chamroukhi
- Abstract要約: 我々は、マルチクラス分類に対するMixs-of-Experts(ME)アプローチを開発する。
それは、ゲーティングネットワークとエキスパートネットワークの両方を構築するMEモデルで構成されている。
我々は、係数関数が解釈可能な空間的制約を享受する正規化最大推定を行う。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a mixtures-of-experts (ME) approach to the multiclass
classification where the predictors are univariate functions. It consists of a
ME model in which both the gating network and the experts network are
constructed upon multinomial logistic activation functions with functional
inputs. We perform a regularized maximum likelihood estimation in which the
coefficient functions enjoy interpretable sparsity constraints on targeted
derivatives. We develop an EM-Lasso like algorithm to compute the regularized
MLE and evaluate the proposed approach on simulated and real data.
- Abstract(参考訳): 予測器が単変量関数である多クラス分類に対して,Mixs-of-experts(ME)アプローチを開発する。
ゲーティングネットワークとエキスパートネットワークの両方が機能入力を持つ多項ロジスティック活性化関数に基づいて構築されるmeモデルで構成されている。
係数関数が対象導関数に対して解釈可能なスパーシティ制約を享受する正則化最大度推定を行う。
正規化mleを計算し,シミュレーションおよび実データに対する提案手法を評価するem-lasso様アルゴリズムを開発した。
関連論文リスト
- On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。
我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。
本研究は,専門家の選択に重要な意味を持つ。
論文 参考訳(メタデータ) (2024-02-05T12:31:18Z) - A Probabilistic Approach to Self-Supervised Learning using Cyclical
Stochastic Gradient MCMC [8.027994148508844]
循環グラディエントハミルトンモンテカルロ(cSGHMC)を用いた実践的自己教師型学習法を提案する。
本枠組みでは,自己教師型学習モデルのパラメータよりも先を置き,cSGHMCを用いて埋め込みの高次元および多モード後部分布を近似する。
4つの挑戦的データセットに対して,複数の分類タスクに関する実験結果を提供する。
論文 参考訳(メタデータ) (2023-08-02T16:52:56Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳(メタデータ) (2023-07-08T15:41:48Z) - Functional Flow Matching [14.583771853250008]
本稿では,最近導入されたフローマッチングモデルを一般化した関数空間生成モデルを提案する。
我々の手法は確率やシミュレーションに頼らず、関数空間の設定に適している。
我々は,FFM法が最近提案した関数空間生成モデルより優れていることを示す実世界のベンチマーク実験を行った。
論文 参考訳(メタデータ) (2023-05-26T19:07:47Z) - Multivariate Systemic Risk Measures and Computation by Deep Learning
Algorithms [63.03966552670014]
本稿では,主観的最適度と関連するリスク割り当ての公平性に着目し,重要な理論的側面について論じる。
私たちが提供しているアルゴリズムは、予備項の学習、二重表現の最適化、およびそれに対応する公正なリスク割り当てを可能にします。
論文 参考訳(メタデータ) (2023-02-02T22:16:49Z) - Adaptive LASSO estimation for functional hidden dynamic geostatistical
model [69.10717733870575]
関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。
このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
論文 参考訳(メタデータ) (2022-08-10T19:17:45Z) - Reducing Overconfidence Predictions for Autonomous Driving Perception [3.1428836133120543]
対象認識のためのSoftMaxやSigmoidベースの予測よりも,最大a-Posteriori(MAP)関数と最大a-Posteriori(MAP)関数の方が確率論的解釈に適していることを示す。
MLとMAP関数は、既存のトレーニングネットワーク、すなわち、事前トレーニングされたネットワークのLogit層の出力によるアプローチの恩恵を受けることができる。
論文 参考訳(メタデータ) (2022-02-16T01:59:55Z) - Functional Mixtures-of-Experts [0.24578723416255746]
観測対象が関数を含む状況下での予測のための異種データの統計的解析について検討する。
まず,機能的ME(FME)と呼ばれる新しいMEモデルのファミリーを提示する。
我々は,モデルに適合する最大パラメータ推定戦略を定式化したLasso-like (EM-Lasso) の専用予測-最大化アルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-02-04T17:32:28Z) - Diversity Enhanced Active Learning with Strictly Proper Scoring Rules [4.81450893955064]
テキスト分類のための能動学習(AL)のための獲得関数について検討する。
我々は、期待損失削減法(ELR)を、ログ確率や負平均二乗誤差などの(厳密な)スコアの増加を推定するために変換する。
BEMPSを用いた平均二乗誤差とログ確率を用いることで、ロバストな取得関数が得られることを示す。
論文 参考訳(メタデータ) (2021-10-27T05:02:11Z) - Efficient semidefinite-programming-based inference for binary and
multi-class MRFs [83.09715052229782]
分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。
一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
論文 参考訳(メタデータ) (2020-12-04T15:36:29Z) - A maximum-entropy approach to off-policy evaluation in average-reward
MDPs [54.967872716145656]
この研究は、無限水平非カウントマルコフ決定過程(MDPs)における関数近似を伴うオフ・ポリティ・アセスメント(OPE)に焦点を当てる。
提案手法は,第1の有限サンプル OPE 誤差境界であり,既存の結果がエピソードおよびディスカウントケースを超えて拡張される。
この結果から,教師あり学習における最大エントロピー的アプローチを並列化して,十分な統計値を持つ指数関数型家族分布が得られた。
論文 参考訳(メタデータ) (2020-06-17T18:13:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。