論文の概要: RAPTOR: Role-Aware Private Training for Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2609.05770v1
• Date: Fri, 04 Sep 2026 23:16:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.133121
• Title: RAPTOR: Role-Aware Private Training for Mixture-of-Experts
• Title（参考訳）: RAPTOR:Mixture-of-Expertsのためのロールアウェアプライベートトレーニング
• Abstract要約: RAPTORはRole-Aware Private Trainingフレームワークである。 RAPTORは共有と専門家の最適化を交互に行い、各障害を直接ターゲットする。 GLUEタスク間でのSwitch TransformerとOLMoEの微調整およびDeepSeek-VL2-Tinyの実験では、標準のDPベースラインよりも一貫した利得を示している。
• 参考スコア（独自算出の注目度）: 68.5626338219096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially private (DP) fine-tuning methods treat sparse Mixture-of-Experts (MoE) models as a single dense block, ignoring that shared layers see all data while experts only see routed records. We identify and formally characterize three resulting failure modes: global clipping suppresses expert gradients, batch-level normalization dilutes sparse expert updates, and fixed privacy noise degrades signal-to-noise ratio on low-load experts. We introduce RAPTOR - a Role-Aware Private Training framework, which alternates shared and expert optimization and targets each failure directly, using expert-specific clipping and noise together with a public expected-owner denominator and a count-independent update schedule that avoids conditioning on private, realized expert counts. We prove the resulting mechanism satisfies $(\varepsilon,δ)$-DP: because each record is assigned to exactly one owner expert, per-expert mechanisms within a layer compose in parallel, so updating all $E$ experts costs no more, in privacy terms, than updating one, with shared and expert streams composing sequentially across training. We further derive a bias-variance decomposition of the public-denominator estimator showing its bias grows predictably with routing imbalance, yielding a privacy-free rule for selecting which layer to protect from routing entropy measured on a small public corpus. Experiments on Switch Transformer and OLMoE fine-tuning across GLUE tasks, and on DeepSeek-VL2-Tiny, show consistent gains over standard DP baselines across several privacy levels ($\varepsilon$), with the largest margins typically at the tightest budgets. Code and models are publicly available: https://github.com/leduckhai/RAPTOR
• Abstract（参考訳）: Differentially private (DP) fine-tuning method treats sparse Mixture-of-Experts (MoE) model as a single dense block。 グローバルクリッピングはエキスパートの勾配を抑制し、バッチレベルの正規化はスパース専門家の更新を減らし、固定されたプライバシノイズはローロードの専門家の信号とノイズの比率を低下させる。 RAPTOR(Role-Aware Private Training framework)は、共有と専門家の最適化を交互に行い、専門家固有のクリップングとノイズをパブリックな予測オーナディノミネータとともに使用し、プライベートな専門家カウントの条件付けを回避した、カウント非依存の更新スケジュールを用いて、各障害を直接ターゲットとする。 それぞれのレコードは、正確に1人のオーナー専門家に割り当てられているため、レイヤ内の専門家ごとのメカニズムは並列に構成されるので、E$の専門家の更新は、トレーニング全体を通じて、共有ストリームとエキスパートストリームを順次構成することで、プライバシの観点から、それ以上のコストがかからない。 さらに、そのバイアスがルーティング不均衡によって予測可能に増大することを示すパブリックデノミネータ推定器のバイアス分散分解を導出し、小さなパブリックコーパスで測定されたルーティングエントロピーからどの層を保護するかを選択するプライバシーのないルールを導出する。 GLUEタスク間でのSwitch TransformerとOLMoEの微調整、およびDeepSeek-VL2-Tinyの実験では、いくつかのプライバシーレベル(\varepsilon$)で標準のDPベースラインよりも一貫した利得を示している。 コードとモデルが公開されている。 https://github.com/leduckhai/RAPTOR

関連論文リスト

• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• FedWeave: Rethinking the Unit of Specialization in Heterogeneous Federated MoE-LoRA [15.068543696107227]
  Federated PEFTは、LLMが生のサンプルを共有することなく、分散化されたプライベートデータに協調的に適応できるようにする。 既存のメソッドは通常、クライアントの粒度を専門とし、暗黙的にタスクコヒーレントなクライアントを仮定する。 非対称アグリゲーションを採用したフレームワークであるFedWeaveを提案し、ルータ最適化から専門家アグリゲーションを分離する。
  論文  参考訳（メタデータ） (2026-07-29T08:47:58Z)
• Adaptive Bayesian Online Learning via Expert Aggregation [1.8620637029128548]
  オンライン共形推論とガウス過程回帰におけるフレームワークのインスタンス化を行う。 実験によると、アグリゲートはオラクルの専門家の選択なしで強力な専門家を追跡する。
  論文  参考訳（メタデータ） (2026-07-22T14:59:09Z)
• Multi-tier Differential Private Query Release [57.049084914202275]
  複数のアナリストが同じクエリを発行し、異なるプライバシ予算の下で生成された回答を受け取る。 このような多層DPクエリに対する既存のアプローチは、過剰な累積プライバシー損失を発生させるか、あるいは準最適ユーティリティに悩まされる。 本稿では,全てのクエリにおいて最大プライバシー予算で累積プライバシー損失を同時に拘束する多層DPクエリリリースのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-14T02:10:22Z)
• SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs [4.035485260002141]
  Sparse Mixture-of-Experts (MoE)モデルは、トーケンの少ない計算で強力な品質を達成するが、そのデプロイメントはメモリウォールによって制限されることが多い。 課題駆動型プルーニングフレームワークのtextbfSHAPE を提案する。
  論文  参考訳（メタデータ） (2026-06-03T08:41:48Z)
• When (and How) to Trust the Expert: Diagnosing Query-Time Expert-Guided Reinforcement Learning [4.913013713982676]
  有能だが最適でないコントローラーを備えた連続制御問題(チューニングされたPID、手動設計の歩行) 成長するメソッドのファミリーは、RLの間、クエリ可能な専門家としてそのようなコントローラを使用するが、各メソッドは、不完全な専門家テストなしで、異なるベンチマークで独立して提案されている。 我々は,共有SACバックボーン,共通HPOおよび評価プロトコル,100/50種毎(env,メソッド),専門家の授業経験,行動バイアス,観察ノイズの劣化について比較を行った。
  論文  参考訳（メタデータ） (2026-05-09T18:48:17Z)
• Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
  フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。 グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。 これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。 Byz-Clip21-SGD2Mを提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:39:09Z)
• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• Federated Online Prediction from Experts with Differential Privacy: Separations and Regret Speed-ups [6.925352969721467]
  本研究では, 敵・敵双方に対する専門家による個人別オンライン予測の問題点について検討する。 本稿では,Fed-DP-OPE-Stochアルゴリズムを提案する。 難解な敵によって、クライアント間のコラボレーションが後悔のスピードアップに繋がらないことを示す非自明な下位境界を確立します。
  論文  参考訳（メタデータ） (2024-09-27T18:43:24Z)
• Uncertainty Voting Ensemble for Imbalanced Deep Regression [20.176217123752465]
  本稿では,不均衡なデータから学習するUVOTEを紹介する。 従来の回帰損失を負の対数類似度に置き換え、サンプルワイドのアレタリックな不確実性も予測する。 UVOTEは先行技術より一貫して優れており、同時に精度のよい不確実性評価が得られている。
  論文  参考訳（メタデータ） (2023-05-24T14:12:21Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。