Fugu-MT 論文翻訳(概要): Tighter Risk Bounds for Mixtures of Experts

論文の概要: Tighter Risk Bounds for Mixtures of Experts

arxiv url: http://arxiv.org/abs/2410.10397v1
Date: Mon, 14 Oct 2024 11:37:36 GMT
ステータス: 処理完了
システム内更新日: 2024-10-29 21:54:49.444821
Title: Tighter Risk Bounds for Mixtures of Experts
Title（参考訳）: 専門家の混入に対するリスク境界の厳格化
Authors: Wissam Akretche, Frédéric LeBlanc, Mario Marchand,
Abstract要約: 筆者らは,それぞれのゲーティング機構に局所微分プライバシー(LDP)を付与することにより,専門家の混在リスクの上限を与える。これらの理論的な保証は、1-out-of-n$ゲーティングメカニズムを利用する専門家の混合に適合する。
参考スコア（独自算出の注目度）: 2.874893537471256
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this work, we provide upper bounds on the risk of mixtures of experts by imposing local differential privacy (LDP) on their gating mechanism. These theoretical guarantees are tailored to mixtures of experts that utilize the one-out-of-$n$ gating mechanism, as opposed to the conventional $n$-out-of-$n$ mechanism. The bounds exhibit logarithmic dependence on the number of experts, and encapsulate the dependence on the gating mechanism in the LDP parameter, making them significantly tighter than existing bounds, under reasonable conditions. Experimental results support our theory, demonstrating that our approach enhances the generalization ability of mixtures of experts and validating the feasibility of imposing LDP on the gating mechanism.
Abstract（参考訳）: 本研究は, 局所微分プライバシー(LDP)をゲーティング機構に付与することにより, 専門家の混在リスクの上限を与える。これらの理論的な保証は、従来の$n$-out-of-n$メカニズムとは対照的に、1-of-n$ゲーティングメカニズムを利用する専門家の混合に調整される。境界は専門家数に対数依存を示し、LPPパラメータのゲーティング機構への依存をカプセル化し、合理的な条件下では既存の境界よりもかなり厳密である。実験により,本手法が専門家の混合の一般化能力を高め,ゲーティング機構に LDP を付与する可能性を検証することが実証された。

関連論文リスト

Peirce in the Machine: How Mixture of Experts Models Perform Hypothesis Construction [0.0]
これは専門家の混在による機能的能力の増大によるものであると我々は主張する。我々は、専門家の混合は、パーシアンな仮説構成の感覚における誘惑的推論の一種である、と結論づける。
論文参考訳（メタデータ） (2024-06-24T21:44:37Z)
EMOE: Expansive Matching of Experts for Robust Uncertainty Based Rejection [51.16708090456525]
Expansive Matching of Experts (EMOE) は, アウト・オブ・ディストリビューションポイントによる予測と不確実性に基づく拒絶を改善するために, サポート拡張, 補間的擬似ラベルを用いた新しい手法である。本稿では,潜在空間におけるOODインスタンスを生成する拡張データ拡張手法と,擬似ラベル処理のための拡張拡張点をフィルタリングするための実証実験に基づくアプローチを提案する。
論文参考訳（メタデータ） (2024-06-03T22:37:45Z)
Sigmoid Gating is More Sample Efficient than Softmax Gating in Mixture of Experts [78.3687645289918]
我々は,シグモイドゲーティング関数が,専門家推定の統計的タスクにおいて,ソフトマックスゲーティングよりも高いサンプル効率を享受できることを示した。 ReLU や GELU のようなよく使われる活性化型フィードフォワードネットワークとして定式化された専門家は,シグモイドゲーティングの下でより速い収束率を享受できる。
論文参考訳（メタデータ） (2024-05-22T21:12:34Z)
Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
論文参考訳（メタデータ） (2024-03-26T05:48:02Z)
Enhancing Molecular Property Prediction via Mixture of Collaborative Experts [23.388085838279405]
本稿では,MPPにおけるデータ不足と不均衡に対処するGNN-MoCEアーキテクチャを提案する。また、Mixture of Collaborative Experts (MoCE) を予測器として採用し、タスクの共通性を活用している。提案モデルは,24MPPデータセットにおける従来の手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2023-12-06T05:02:10Z)
Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy [84.11508381847929]
わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。ルーティング統計を利用したM-SMoEを提案する。我々のMC-SMoEは最大80%のメモリと20%のFLOPを削減でき、性能は実質的に損なわれない。
論文参考訳（メタデータ） (2023-10-02T16:51:32Z)
Generalised Likelihood Ratio Testing Adversaries through the Differential Privacy Lens [69.10072367807095]
微分プライバシー(DP)は、最適な敵の能力に厳格な上限を提供する。我々は,NPO(Neyman-Pearson-Pearson-Pearson-Pearson-Pearson-Pearson)対GLRT(Generalized Likelihood Test)対向の仮定を緩和する。この緩やかな緩和は、プライバシー保証の改善につながる。
論文参考訳（メタデータ） (2022-10-24T08:24:10Z)
Blind Exploration and Exploitation of Stochastic Experts [7.106986689736826]
我々は,後方サンプリング,高信頼境界,経験的Kulback-Leibler分散,およびマルチアームバンディット問題に対するminmax法を用いて,最も信頼性の高い専門家を特定するためのブラインド探索・エクスプロイト(BEE)アルゴリズムを提案する。本稿では,他の専門家の意見のみを瞬時に活用できる,経験的に実現可能な専門家能力尺度を提案する。
論文参考訳（メタデータ） (2021-04-02T15:02:02Z)
Gaussian Experts Selection using Graphical Models [7.530615321587948]
ローカル近似は、元のデータセットをサブセットに分割し、各サブセットでローカル専門家を訓練することで、時間の複雑さを低減する。我々は、専門家間の条件依存を符号化するスパース精度行列を用いて、非方向性のグラフィカルモデルに関する文献からのテクニックを活用し、最も重要な専門家を選択する。
論文参考訳（メタデータ） (2021-02-02T14:12:11Z)
Local Differential Privacy Is Equivalent to Contraction of $E_\gamma$-Divergence [7.807294944710216]
我々は, LDP 制約を$E_gamma$-divergence の縮約係数で等価にキャストできることを示す。次に、この等価式を用いて、任意の$f$-divergencesの収縮係数の観点から、プライバシー機構のLCP保証を表現する。
論文参考訳（メタデータ） (2021-02-02T02:18:12Z)
Relative Deviation Margin Bounds [55.22251993239944]
我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
論文参考訳（メタデータ） (2020-06-26T12:37:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。