論文の概要: Toward Efficient Inference Attacks: Shadow Model Sharing via Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2510.13451v1
• Date: Wed, 15 Oct 2025 11:50:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.654367
• Title: Toward Efficient Inference Attacks: Shadow Model Sharing via Mixture-of-Experts
• Title（参考訳）: 効率的な推論攻撃に向けて--Mixture-of-Expertsによるシャドウモデル共有
• Authors: Li Bai, Qingqing Ye, Xinwei Zhang, Sen Zhang, Zi Liang, Jianliang Xu, Haibo Hu,
• Abstract要約: 機械学習モデルは、トレーニングデータから機密情報を露出する推論攻撃に対して脆弱であることが多い。 シャドウモデル技法は、メンバーシップ推論のような攻撃に一般的に使用される。 本稿では、複数の共有モデルを構築し、それらを共同で訓練する新しいシャドウプールトレーニングフレームワークSHAPOOLを提案する。
• 参考スコア（独自算出の注目度）: 24.87424295328496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models are often vulnerable to inference attacks that expose sensitive information from their training data. Shadow model technique is commonly employed in such attacks, such as membership inference. However, the need for a large number of shadow models leads to high computational costs, limiting their practical applicability. Such inefficiency mainly stems from the independent training and use of these shadow models. To address this issue, we present a novel shadow pool training framework SHAPOOL, which constructs multiple shared models and trains them jointly within a single process. In particular, we leverage the Mixture-of-Experts mechanism as the shadow pool to interconnect individual models, enabling them to share some sub-networks and thereby improving efficiency. To ensure the shared models closely resemble independent models and serve as effective substitutes, we introduce three novel modules: path-choice routing, pathway regularization, and pathway alignment. These modules guarantee random data allocation for pathway learning, promote diversity among shared models, and maintain consistency with target models. We evaluate SHAPOOL in the context of various membership inference attacks and show that it significantly reduces the computational cost of shadow model construction while maintaining comparable attack performance.
• Abstract（参考訳）: 機械学習モデルは、トレーニングデータから機密情報を露出する推論攻撃に対して脆弱であることが多い。 シャドウモデル技法は、メンバーシップ推論のような攻撃に一般的に使用される。 しかし、多くのシャドウモデルの必要性により、計算コストが高くなり、実用性は制限される。 このような非効率性は主に、これらのシャドウモデルの独立した訓練と使用に起因している。 この問題に対処するために,複数の共有モデルを構築し,一つのプロセス内で共同で訓練する,新しいシャドウプールトレーニングフレームワークSHAPOOLを提案する。 特に、Mixture-of-Experts機構をシャドウプールとして利用して個々のモデルを相互に相互接続し、サブネットワークを共有することで効率を向上する。 共有モデルが独立モデルと密接に類似し、効果的な代替品として機能することを保証するため、経路選択ルーティング、経路正規化、経路アライメントという3つの新しいモジュールを導入する。 これらのモジュールは、経路学習のためのランダムなデータ割り当てを保証し、共有モデル間の多様性を促進し、ターゲットモデルとの整合性を維持する。 本研究では,SHAPOOLを様々なメンバシップ推論攻撃の文脈で評価し,比較攻撃性能を維持しつつ,シャドウモデル構築の計算コストを大幅に削減することを示す。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Order of Magnitude Speedups for LLM Membership Inference [5.124111136127848]
  大規模言語モデル(LLM)は、コンピューティングを広く革新させるという約束を持っているが、その複雑さと広範なトレーニングデータもまた、プライバシの脆弱性を露呈している。 LLMに関連する最も単純なプライバシーリスクの1つは、メンバーシップ推論攻撃(MIA)に対する感受性である。 文書がモデルのトレーニングセットに属しているか否かを判断するために,小さな量子レグレッションモデルのアンサンブルを利用する低コストMIAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T16:18:14Z)
• Ensembler: Protect Collaborative Inference Privacy from Model Inversion Attack via Selective Ensemble [17.410461161197155]
  エンサンブラ(Ensembler)は、敵によるモデル反転攻撃の実施の難しさを高めるために設計されたフレームワークである。 実験により,クライアントがネットワークの1層のみをローカルに保持している場合でも,エンサンブラはリコンストラクション攻撃から入力イメージを効果的に保護できることを示した。
  論文  参考訳（メタデータ） (2024-01-19T18:03:21Z)
• OMG-ATTACK: Self-Supervised On-Manifold Generation of Transferable Evasion Attacks [17.584752814352502]
  Evasion Attacks (EA) は、入力データを歪ませることで、トレーニングされたニューラルネットワークの堅牢性をテストするために使用される。 本稿では, 自己教師型, 計算的経済的な手法を用いて, 対逆例を生成する手法を提案する。 我々の実験は、この手法が様々なモデル、目に見えないデータカテゴリ、さらには防御されたモデルで有効であることを一貫して実証している。
  論文  参考訳（メタデータ） (2023-10-05T17:34:47Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• A Simple Structure For Building A Robust Model [7.8383976168377725]
  本研究では,ある程度のロバスト性を持つモデルを構築するためのシンプルなアーキテクチャを提案し,協調学習のための対向サンプル検出ネットワークを追加することにより,トレーニングネットワークのロバスト性を向上させる。 我々はCifar10データセットに基づいて,この設計の有効性をテストする実験を行った。
  論文  参考訳（メタデータ） (2022-04-25T12:30:35Z)
• DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
  そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。 タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
  論文  参考訳（メタデータ） (2022-04-03T02:29:11Z)
• MEGA: Model Stealing via Collaborative Generator-Substitute Networks [4.065949099860426]
  近年のデータフリーモデルステイティングメソッドは,実際のクエリの例を使わずに,ターゲットモデルの知識を抽出するために有効であることが示されている。 本稿では,データフリーモデルステーリングフレームワーク(MEGA)を提案する。 以上の結果から,我々の訓練した代替モデルの精度と敵攻撃成功率は,最先端のデータフリーブラックボックス攻撃よりも最大で33%,40%高い値となる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-01-31T09:34:28Z)
• Delving into Data: Effectively Substitute Training for Black-box Attack [84.85798059317963]
  本稿では,知識盗むプロセスで使用されるデータの分散設計に焦点をあてた,新しい視点代替トレーニングを提案する。 これら2つのモジュールの組み合わせにより、代替モデルとターゲットモデルの一貫性がさらに向上し、敵攻撃の有効性が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-26T07:26:29Z)
• Two Sides of the Same Coin: White-box and Black-box Attacks for Transfer Learning [60.784641458579124]
  ホワイトボックスFGSM攻撃によるモデルロバスト性を効果的に向上することを示す。 また,移動学習モデルに対するブラックボックス攻撃手法を提案する。 ホワイトボックス攻撃とブラックボックス攻撃の双方の効果を系統的に評価するために,ソースモデルからターゲットモデルへの変換可能性の評価手法を提案する。
  論文  参考訳（メタデータ） (2020-08-25T15:04:32Z)
• Regularizers for Single-step Adversarial Training [49.65499307547198]
  本稿では,1ステップの対数学習手法を用いて,ロバストモデル学習を支援する3種類の正則化器を提案する。 正規化器は、ロバストモデルと擬ロバストモデルとを区別する特性を利用することにより、勾配マスキングの効果を緩和する。
  論文  参考訳（メタデータ） (2020-02-03T09:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。