Fugu-MT 論文翻訳(概要): When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry

論文の概要: When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry

arxiv url: http://arxiv.org/abs/2610.10616v1
Date: Wed, 07 Oct 2026 07:26:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-10 02:36:53.568267
Title: When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry
Title（参考訳）: MoEルータのテレメトリから漏洩したプライバシー
Abstract要約: Mixture-of-Experts (MoE)言語モデルは、ログ化や監視のために公開される可能性のある推論中にルーティング情報を生成する。本稿では,従来の出力側信号と集約されたルーティング機能を組み合わせたルータ拡張型メンバシップ推論攻撃を提案する。ルータテレメトリは、微調整されたMoEモデルに対して、操作信号を追加のプライバシサーフェスに変換することができることを示す。
参考スコア（独自算出の注目度）: 13.135555749310027
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Mixture-of-Experts (MoE) language models produce routing information during inference that may be logged or exposed for monitoring, debugging, load analysis, and safety auditing. Unlike ordinary model outputs, this telemetry reveals a view of the model's internal computation, raising a privacy question: can it reveal whether an example was used to fine-tune the deployed model? We introduce a router-augmented membership inference attack that combines conventional output-side signals with aggregated routing features and applies a membership classifier learned from independently fine-tuned shadow models to the target model. Across three MoE architectures and three data domains, router telemetry consistently improves membership inference over a strong output-signal ensemble, increasing TPR at 1\% FPR by 2.7--9.4 percentage points across all nine settings. The leakage persists across full fine-tuning, frozen-router training, LoRA, and instruction tuning, and remains observable with only discrete expert selections, restricted telemetry, or a single shadow model. Mechanistic analysis further shows that the leakage does not require router-specific memorization: fine-tuning introduces membership information into hidden representations, while the router exposes a projection of this signal even when its parameters are frozen. Perturbing the telemetry reduces this additional leakage only as its fidelity degrades. Our results show that router telemetry can turn an operational signal into an additional privacy surface for fine-tuned MoE models.
Abstract（参考訳）: Mixture-of-Experts (MoE)言語モデルは、監視、デバッグ、負荷分析、安全監査のためにログ化または公開される可能性のある推論中にルーティング情報を生成する。通常のモデル出力とは異なり、このテレメトリはモデルの内部計算のビューを明らかにし、プライバシの疑問を提起する。本稿では、従来の出力側信号と集約されたルーティング特徴を組み合わせたルータ拡張型メンバシップ推論攻撃を導入し、個別に微調整されたシャドウモデルから学習したメンバシップ分類器を対象モデルに適用する。 3つのMoEアーキテクチャと3つのデータドメインにわたって、ルータテレメトリは強い出力信号アンサンブルに対するメンバシップ推論を一貫して改善し、9つの設定でTPRを2.7-9.4ポイント増加させる。漏れは、完全な微調整、凍結ルータ訓練、LORA、命令チューニングにまたがって続き、個別の専門家選択、制限されたテレメトリ、または単一のシャドウモデルで観測可能である。微調整はメンバシップ情報を隠された表現に導入し、一方、ルータはパラメータが凍結してもその信号のプロジェクションを公開する。テレメトリの摂動により、この余分なリークは、その忠実度が低下するにつれてのみ減少する。この結果から, ルータテレメトリは, 微調整MOEモデルに対して, 操作信号を付加的なプライバシー面に変換することができることがわかった。

関連論文リスト

TranScope: What the Software Hides About LLM Training Data, the Hardware Reveals at Scale, and Accelerators Magnify [0.0]
メンバシップは、マシンラーニングの根本的プライバシプリミティブである。ブラックボックスモデルに対するハードウェアベースのアウト・オブ・ディストリビューション検出は行われていない。会員情報を検出するための最初のマイクロアーキテクチャツールであるTranScopeを紹介する。
論文参考訳（メタデータ） (2026-10-05T17:59:42Z)
CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文参考訳（メタデータ） (2026-06-09T16:24:16Z)
From Sampled Outcomes to Capability Distributions: Rethinking Supervision for LLM Routing [79.19755531338872]
既存のルーティングメソッドは、クエリに対するモデルの単一応答を、トレーニングの能力ラベルとして扱う。この仮定はルーティング管理にシステマティックノイズを導入し、学習されたルーティングポリシーの信頼性を低下させることを示す。本稿では, DARS(Distribution-Aware Routing Supervision)を提案する。
論文参考訳（メタデータ） (2026-06-05T05:42:00Z)
RouteScan: A Non-Intrusive Approach to Auditing MoE LLMs Safety via Expert Routing Telemetry [24.677169755426906]
我々は、専門家のルーティングテレメトリを通して有害な行動を検出する非侵襲的な監査フレームワークであるRouteScanを提案する。 RouteScanは、未確認の有害ドメインで0.93以上、新しいジェイルブレイクラッパーで0.96以上、強力な一般化を実現している。
論文参考訳（メタデータ） (2026-05-24T02:06:44Z)
What Happens Inside Agent Memory? Circuit Analysis from Emergence to Diagnosis [19.29853121538131]
我々はQwen-3ファミリー(0.6B-14B)と2つのメモリフレームワーク(mem0とA-MEM)の回路をトレースする。我々は無監督段階診断を開発し,76.2%の精度でサイレント障害を責任ある手術に局在させる。
論文参考訳（メタデータ） (2026-05-05T04:17:22Z)
Self-Routing: Parameter-Free Expert Routing from Hidden States [14.018297453424454]
Mixture-of-Experts (MoE)レイヤは、トークンごとに専門家の小さなサブセットをアクティベートすることで、モデルのキャパシティを向上する。本稿では,トークン隠蔽状態の指定された部分空間を専門家のロジットとして直接使用するパラメータフリーなルーティング機構であるSelf-Routingを提案する。
論文参考訳（メタデータ） (2026-04-01T03:05:20Z)
Optimizing Model Splitting and Device Task Assignment for Deceptive Signal Assisted Private Multi-hop Split Learning [58.620753467152376]
我々のモデルでは、複数のエッジデバイスが共同で協調訓練を行い、一部の盗聴者はデバイスからモデルとデータ情報を収集することを目的としている。盗聴者がモデルやデータ情報を集めるのを防止するため、装置のサブセットは、偽装信号を送信することができる。本稿では,本質的な好奇性モジュールとクロスアテンションを備えたアクター批判型深層強化学習フレームワークを提案する。
論文参考訳（メタデータ） (2025-07-09T22:53:23Z)
Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。 ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。 ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
論文参考訳（メタデータ） (2023-06-16T18:29:26Z)
CrowdGuard: Federated Backdoor Detection in Federated Learning [39.58317527488534]
本稿では,フェデレートラーニングにおけるバックドア攻撃を効果的に軽減する新しい防御機構であるCrowdGuardを提案する。 CrowdGuardでは、サーバロケーションのスタック化されたクラスタリングスキームを使用して、クライアントからのフィードバックに対するレジリエンスを高めている。評価結果は、CrowdGuardがさまざまなシナリオで100%正の正の正の正の負の負の負の値を達成することを示す。
論文参考訳（メタデータ） (2022-10-14T11:27:49Z)
Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
論文参考訳（メタデータ） (2020-11-25T20:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。