論文の概要: How Fragile Is On-Device Language Model Safety? Localizing Safety-Critical Parameters for Sparse Fault Analysis

• arxiv url: http://arxiv.org/abs/2610.09000v1
• Date: Tue, 06 Oct 2026 18:56:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.562491
• Title: How Fragile Is On-Device Language Model Safety? Localizing Safety-Critical Parameters for Sparse Fault Analysis
• Title（参考訳）: デバイス上での言語モデルの安全性について : スパース故障解析における安全臨界パラメータの局在化
• Abstract要約: LLaMA-2-7B-Chatの安全性に敏感な挙動がパラメータのスパースサブセットに集中しているかを検討する。 パラメータレベルのローカライゼーションを用いて、down_projのモデル重量の0.19%だけを変更すると、ベーシックASRは53%、GCG ASRは56%となる。 これらの結果は、リソース制約、オンデバイス、エージェント設定にデプロイされた言語モデルに対して、ターゲットとなる障害解析と選択的整合性保護を動機付けている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As small language models (SLMs) are increasingly deployed on resource-constrained and on-device platforms, including as components of agentic systems, the integrity of locally stored model parameters becomes an important safety concern. We investigate whether safety-sensitive behavior in LLaMA-2-7B-Chat is concentrated within a sparse subset of parameters, creating a reduced fault surface for targeted analysis. We study two complementary localization methods: low-rank safety-associated subspace analysis and parameter-level safety--utility importance filtering. Both approaches reveal highly non-uniform safety sensitivity across the network, with the MLP down_proj consistently emerging as a prominent safety-sensitive component and o_proj providing a smaller contribution. Using parameter-level localization, modifying only 0.19% of model weights in down_proj yields 53% Basic ASR and 56% GCG ASR, while tinyBenchmarks accuracy remains at 51.6% compared with a 52.2% unmodified baseline. These results motivate targeted fault analysis and selective integrity protection for language models deployed in resource-constrained, on-device, and agentic settings.
• Abstract（参考訳）: 小言語モデル(SLM)は、エージェントシステムのコンポーネントを含むリソース制約やオンデバイスプラットフォームへのデプロイが増えているため、ローカルに保存されたモデルパラメータの整合性は、重要な安全上の問題となっている。 LLaMA-2-7B-Chatの安全性に敏感な挙動がパラメータのスパースサブセットに集中しているかどうかを調べた。 低ランクな安全性関連部分空間解析とパラメータレベルの安全性-ユーティリティ重要フィルタリングの2つの相補的ローカライズ手法について検討した。 MLP down_projは、顕著な安全性に敏感なコンポーネントとして一貫して登場し、o_projは、より小さなコントリビューションを提供する。 パラメータレベルのローカライゼーションを使用すると、down_projのモデル重量の0.19%しか変更されず、ベーシックASRが53%、GCG ASRが56%、小さなベンチマーク精度が51.6%、未修正ベースラインが52.2%である。 これらの結果は、リソース制約、オンデバイス、エージェント設定にデプロイされた言語モデルに対して、ターゲットとなる障害解析と選択的整合性保護を動機付けている。

関連論文リスト

• Interpretable Safety Alignment via SAE-Constructed Low-Rank Subspace Adaptation [13.509767769174422]
  大規模な言語モデルをトレーニングし、有害な要求を拒否するためには、安全性の調整が不可欠である。 Low-Rank Adaptation (LoRA) は、安全ベンチマークにおける完全な微調整と強化学習を一貫して過小評価している。 このギャップに対処するため、SAILS (Safety Alignment via Interpretable Low-rank Subspace)を提案する。
  論文  参考訳（メタデータ） (2025-12-29T07:39:49Z)
• GateBreaker: Gate-Guided Attacks on Mixture-of-Expert LLMs [24.327693899810615]
  GateBreakerは、トレーニング不要で、軽量で、アーキテクチャに依存しない最初のアタックフレームワークです。 GateBreakerは、現代のMoE LLMの安全アライメントを推論時に妥協する。 本研究により,MoEの安全性はスパースルーティングによって調整された神経細胞の小さなサブセットに集中していることが判明した。
  論文  参考訳（メタデータ） (2025-12-24T07:13:24Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• Circumventing Safety Alignment in Large Language Models Through Embedding Space Toxicity Attenuation [13.971909819796762]
  大規模言語モデル(LLM)は、医療、教育、サイバーセキュリティといった分野で大きな成功を収めている。 埋め込み空間中毒は、敵が入力データの内部意味表現を操作して安全アライメント機構をバイパスする微妙な攻撃ベクトルである。 本稿では,線形変換による埋め込み空間における毒性感受性次元の同定と減衰を行う新しいフレームワークETTAを提案する。
  論文  参考訳（メタデータ） (2025-07-08T03:01:00Z)
• LoX: Low-Rank Extrapolation Robustifies LLM Safety Against Fine-tuning [61.594212398272184]
  Low-Rank Extrapolation (LoX)は、良質で悪意のある微調整攻撃に対する堅牢性を改善する。 LoXは攻撃成功率を11%から54%に下げる。
  論文  参考訳（メタデータ） (2025-06-18T16:30:02Z)
• Can LLM Prompting Serve as a Proxy for Static Analysis in Vulnerability Detection [9.269926508651091]
  大規模言語モデル(LLM)は、脆弱性検出などの安全クリティカルなコードタスクに制限があることを示している。 本稿では,脆弱性の自然言語命令を,対照的な連鎖推論と統合する戦略を提案する。 本研究は,静的アナライザの厳格な手作りルールに代えて,セキュリティ対応のプロンプト技術が有効であることを示す。
  論文  参考訳（メタデータ） (2024-12-16T18:08:14Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。