論文の概要: Model Multiplicity for Adversarial Detection in Small Language Model Training on Edge Devices

• arxiv url: http://arxiv.org/abs/2606.07857v1
• Date: Fri, 05 Jun 2026 21:38:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.490012
• Title: Model Multiplicity for Adversarial Detection in Small Language Model Training on Edge Devices
• Title（参考訳）: エッジデバイスを用いた小言語モデル学習における逆検出のためのモデル多重性
• Authors: Stefan Behfar, Richard Mortier,
• Abstract要約: 妥協または信頼性の低いデバイスは、有毒な更新を注入することができ、ステルスモデルの操作や収束の低下につながる。 本研究は,モデル乗法に基づく新たなシステムレベルディフェンスを提案する。 我々は,このフレームワークを実装し,Small Language Model (SLM) トレーニングのエッジスケールシミュレーションで評価する。
• 参考スコア（独自算出の注目度）: 0.04910937238451484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rise of edge-based machine learning has enabled distributed adaptation of language models across mobile and IoT devices, offering privacy preservation and real-time responsiveness. However, distributed fine-tuning of language models on untrusted or heterogeneous edge nodes introduces new vulnerabilities. Compromised or unreliable devices can inject poisoned updates, leading to stealthy model manipulation or convergence degradation. Classical defenses such as robust aggregation or temporal anomaly detection operate on a single global model and are therefore limited in detecting coordinated or persistent poisoning. This work proposes a new system-level defense based on model multiplicity. Instead of maintaining one global model, the system rotates or concurrently trains multiple small language models (e.g., DistilGPT-2), each updated by independently sampled subsets of edge nodes. These models evolve under distinct training trajectories, creating multiple independent views of the same distributed population. Divergence between models quantified through gradient similarity, loss evolution, or parameter variance serves as a signal of anomalous or adversarial behavior. When one model deviates significantly from the ensemble mean, the system flags its contributing nodes for isolation or re-weighting. We implement this framework and evaluate it on edge-scale simulations of Small Language Model (SLM) training under varying heterogeneity and attack conditions. Results show that model multiplicity enables earlier and more reliable detection of poisoning compared to classical single-model defenses such as Flanders and Robust methods. Our findings demonstrate that diversity in model evolution can serve as a practical and effective defense mechanism for secure distributed learning on resource-constrained edge devices.
• Abstract（参考訳）: エッジベースの機械学習の台頭は、モバイルとIoTデバイスにまたがる言語モデルの分散適応を可能にし、プライバシ保護とリアルタイム応答性を提供する。 しかし、信頼できないノードや異質なエッジノード上での言語モデルの分散微調整は、新たな脆弱性をもたらす。 妥協または信頼性の低いデバイスは、有毒な更新を注入することができ、ステルスモデルの操作や収束の低下につながる。 ロバストアグリゲーションや時間的異常検出のような古典的な防御は、単一のグローバルモデルで動作し、調整されたまたは持続的な中毒の検出に制限される。 本研究は,モデル乗法に基づく新たなシステムレベルディフェンスを提案する。 1つのグローバルモデルを維持する代わりに、システムは複数の小さな言語モデル(例えばDistilGPT-2)を回転または同時に訓練し、それぞれが独立したエッジノードのサブセットによって更新される。 これらのモデルは異なる訓練軌道の下で進化し、同じ個体群を複数の独立した視点で観察する。 勾配の類似性、損失の進化、パラメータの分散を通じて定量化されたモデル間のばらつきは、異常または逆挙動の信号として機能する。 1つのモデルがアンサンブル平均から大きく逸脱した場合、システムはコントリビューションノードに隔離や再重み付けを通知する。 このフレームワークを実装し、様々な異種性と攻撃条件下でのSLM訓練のエッジスケールシミュレーションで評価する。 その結果, モデル乗法はフランダース法やロバスト法のような古典的な単一モデル防御法と比較して, より早く, より信頼性の高い毒性検出を可能にすることがわかった。 モデル進化の多様性は,資源制約されたエッジデバイス上でのセキュアな分散学習の実践的かつ効果的な防御機構として有効であることを示す。

関連論文リスト

• Exploiting Edge Features for Transferable Adversarial Attacks in Distributed Machine Learning [54.26807397329468]
  この研究は、分散ディープラーニングシステムにおいて、これまで見過ごされていた脆弱性を探究する。 中間的特徴をインターセプトする敵は、依然として深刻な脅威となる可能性がある。 本稿では,分散環境に特化して設計されたエクスプロイト戦略を提案する。
  論文  参考訳（メタデータ） (2025-07-09T20:09:00Z)
• Embedded Nonlocal Operator Regression (ENOR): Quantifying model error in learning nonlocal operators [8.585650361148558]
  本研究では,非局所的同化代理モデルとその構造モデル誤差を学習するための新しい枠組みを提案する。 このフレームワークは、長期シミュレーションにおける均質化材料応答予測のための離散性適応不確実性定量化を提供する。
  論文  参考訳（メタデータ） (2024-10-27T04:17:27Z)
• Multi-Model based Federated Learning Against Model Poisoning Attack: A Deep Learning Based Model Selection for MEC Systems [11.564289367348334]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散データからグローバルモデルのトレーニングを可能にする。 本稿では, モデル中毒対策の機会を高めるための積極的メカニズムとして, マルチモデルFLを提案する。 DDoS攻撃検出のシナリオでは、システムは攻撃を受けないというシナリオと、認識時間の改善の可能性によって、毒殺攻撃下での競争精度の向上が示される。
  論文  参考訳（メタデータ） (2024-09-12T17:36:26Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles [20.46399318111058]
  敵攻撃は、小さな摂動でCNNモデルを誤解させる可能性があるため、同じデータセットでトレーニングされた異なるモデル間で効果的に転送することができる。 非破壊的特徴を蒸留することにより,各サブモデルの逆脆弱性を分離するDVERGEを提案する。 新たな多様性基準とトレーニング手順により、DVERGEは転送攻撃に対して高い堅牢性を達成することができる。
  論文  参考訳（メタデータ） (2020-09-30T14:57:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。