論文の概要: Ghosting Your LLM: Without The Knowledge of Your Gradient and Data

• arxiv url: http://arxiv.org/abs/2511.22700v1
• Date: Thu, 27 Nov 2025 18:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.689804
• Title: Ghosting Your LLM: Without The Knowledge of Your Gradient and Data
• Title（参考訳）: LLMをホストする - グラディエントとデータの知識がなくても
• Authors: Abeer Matar A. Almalky, Ziyan Wang, Mohaiminul Al Nahian, Li Yang, Adnan Siraj Rakin,
• Abstract要約: 我々は,ビットフリップ攻撃が大規模言語モデル(LLM)に与える影響に注目した。 BFAはハードウェアの欠陥を利用してモデルパラメータを破損させ、モデルの整合性と性能を脅かす。 本研究では,LLMの脆弱性量ビットを,勾配やデータ知識とは無関係に識別できる新たな脆弱性指標を提案する。
• 参考スコア（独自算出の注目度）: 23.256253959062544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, large language models (LLMs) have achieved substantial advancements and are increasingly integrated into critical applications across various domains. This growing adoption underscores the need to ensure their security and robustness. In this work, we focus on the impact of Bit Flip Attacks (BFAs) on LLMs, which exploits hardware faults to corrupt model parameters, posing a significant threat to model integrity and performance. Existing studies on BFA against LLMs adopt a progressive bit-search strategy that predominantly relies on gradient-based techniques to identify sensitive layers or weights. However, computing gradients comes with two specific challenges: First, in the context of LLMs, it increases computational and memory costs exponentially, and Second, it requires access to a sample victim dataset or knowledge of the victim domain to compute the gradient. In this work, we investigate beyond the scope of attack efficacy and aim to develop an efficient, practical Gradient-Data-free Bit-Flip Attack. The challenge lies in the core principle of adversarial attacks, which relies heavily on computing gradients from sample test/train data and manipulating model weights based on gradient information. To overcome this, we propose novel vulnerability index metrics that can identify vulnerable weight bits in LLMs independent of any gradient or data knowledge. By removing the dependency on gradient computation, our approach drastically reduces memory requirements and scales efficiently across multiple tasks with constant complexity. Experimental results demonstrate the efficiency of our method, requiring as few as a single bit flip to achieve adversarial objectives for five open-source LLMs.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) は飛躍的な進歩を遂げ,様々な領域にわたる重要なアプリケーションに統合されつつある。 この採用の増加は、セキュリティと堅牢性を保証する必要性を浮き彫りにしている。 本研究では,LLMに対するビット・フリップ・アタック(BFA)の影響に着目し,ハードウェアの欠陥を利用してモデルパラメータを破損させ,モデルの整合性と性能を脅かす。 既存のLLMに対するBFAの研究では、機密層や重みを識別するための勾配に基づく技術に大きく依存するプログレッシブビット探索戦略が採用されている。 第一に、LSMの文脈では、計算コストとメモリコストを指数関数的に増加させ、第二に、勾配を計算するには、犠牲者のデータセットや被害者ドメインの知識にアクセスする必要がある。 本研究では,攻撃効果の範囲を超えて,高速で実用的なデータフリーなビットフリップ攻撃を開発することを目的とする。 これは、サンプルテスト/トレインデータからの勾配の計算と、勾配情報に基づくモデルの重みの操作に大きく依存している。 そこで本研究では,LLMにおいて,勾配やデータ知識に依存しない脆弱性の重み付きビットを識別可能な,新たな脆弱性指標を提案する。 勾配計算への依存を取り除き,メモリ要求を大幅に削減し,複数のタスクにまたがって効率よくスケールする手法を提案する。 実験により,提案手法の効率性を実証し,5つのオープンソースLCMの対角目標を達成するために,1ビットのフリップしか必要としないことを示した。

関連論文リスト

• Learn More, Forget Less: A Gradient-Aware Data Selection Approach for LLM [51.21051698747157]
  大規模言語モデル(LLM)の教師付き微調整のための自己適応型勾配対応データ選択手法(GrADS)を提案する。 具体的には、勾配の大きさと統計的分布を利用した自己指導型基準を設計し、モデルの学習プロセスに最も寄与する例を優先する。 GrADSは、医学、法学、金融など様々な分野にまたがる様々なLLMの広範な実験を通じて、大幅な効率性と費用対効果を示してきた。
  論文  参考訳（メタデータ） (2025-11-07T08:34:50Z)
• Stable Forgetting: Bounded Parameter-Efficient Unlearning in LLMs [30.089412595436585]
  我々は,大規模な言語モデル (LLM) のフィードフォワード層において,左折集合の上昇がいかに最適化を不安定化させるかを説明する理論的枠組みを提供する。 本研究では, パラメータ効率のよい手法である境界境界アンラーニングを提案し, 適応子に有界関数を適用することにより微調整を安定化する。 提案手法は,LLMにおける非学習のための理論的基盤と実践的拡張性を備えた枠組みを確立するとともに,保持状態を維持しながら忘れることの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2025-09-29T01:30:15Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。