論文の概要: Analysis of LLM Vulnerability to GPU Soft Errors: An Instruction-Level Fault Injection Study

• arxiv url: http://arxiv.org/abs/2601.19912v1
• Date: Thu, 25 Dec 2025 11:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 02:21:38.522868
• Title: Analysis of LLM Vulnerability to GPU Soft Errors: An Instruction-Level Fault Injection Study
• Title（参考訳）: GPUソフトエラーに対するLDM脆弱性の解析 : インストラクションレベル故障注入実験
• Authors: Duo Chai, Zizhen Liu, Shuhuai Wang, Songwei Pei, Cheng Liu, Huawei Li, Shangguang Wang,
• Abstract要約: 大規模言語モデル(LLM)は計算量とメモリ集約性が高い。 LLMのソフトエラーに対するレジリエンスは、以前のモデルと大きく異なる場合がある。 LLM推論における第1の命令レベル欠陥注入法について検討する。
• 参考スコア（独自算出の注目度）: 11.583997354005795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are highly compute- and memory-intensive, posing significant demands on high-performance GPUs. At the same time, advances in GPU technology driven by shrinking transistor sizes and lower operating voltages have made these devices increasingly susceptible to soft errors. While prior work has examined GPU reliability, most studies have focused on general-purpose applications or conventional neural networks mostly used for vision tasks such as classification and detection. In contrast, systematic analysis of modern large-scale LLMs remains limited, despite their rapid adoption in diverse application scenarios. Given the unique characteristics of LLMs, their resilience to soft errors may differ substantially from earlier models. To bridge this gap, we conduct the first instruction-level fault injection study of LLM inference. Our approach reveals reliability characteristics from multiple perspectives, highlighting the effects of model architecture, parameter scale, and task complexity. These findings provide new insights into LLM reliability and inform the design of more effective fault tolerance mechanisms.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、高い計算量とメモリ集約性を持ち、高性能GPUに対する大きな需要がある。 同時に、トランジスタサイズの縮小と動作電圧の低下によって駆動されるGPU技術の進歩により、これらのデバイスはソフトエラーの影響を受けやすくなっている。 これまでの研究ではGPUの信頼性について検討されていたが、ほとんどの研究は汎用アプリケーションや従来のニューラルネットワークに重点を置いており、主に分類や検出などの視覚タスクに使われている。 対照的に、多様なアプリケーションシナリオで急速に採用されているにもかかわらず、現代の大規模LLMの体系的分析は依然として限られている。 LLMの特異な特性を考えると、それらのソフトエラーに対するレジリエンスは以前のモデルと大きく異なる可能性がある。 このギャップを埋めるために, LLM推論の命令レベル欠陥注入実験を行った。 提案手法では, モデルアーキテクチャ, パラメータスケール, タスク複雑性の影響を明らかにするとともに, 複数の視点から信頼性特性を明らかにする。 これらの結果から, LLMの信頼性に関する新たな知見が得られ, より効果的な耐故障性機構の設計が示唆された。

関連論文リスト

• A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models [85.30893355216486]
  我々は,異なるdMLLMアーキテクチャとタスクを用いて,視覚的トークン冗長性がどのように進化するかを検討する。 本研究により, 視覚的冗長性は, 長時間のタスクを処理しながら, オフスクラッチdMLLMでのみ現れることが明らかとなった。 層スキッピングはAR-to-diffusion dMLLMの加速に有効であるのに対し、プログレッシブプルーニングやレイトステッププルーニングはストクラッチdMLLMよりも効果的である。
  論文  参考訳（メタデータ） (2025-11-19T04:13:36Z)
• Phishing Detection in the Gen-AI Era: Quantized LLMs vs Classical Models [1.4999444543328293]
  フィッシング攻撃はますます洗練され、高精度と計算効率のバランスをとる検知システムの必要性が強調されている。 本稿では、フィッシング検出のための従来の機械学習(ML)、ディープラーニング(DL)、および量子化された小パラメータ大規模言語モデル(LLM)の比較評価を行う。 現在,LLMはML法やDL法に比べて精度が低いが,文脈に基づく微妙なフィッシング手法を識別する可能性が強い。
  論文  参考訳（メタデータ） (2025-07-10T04:01:52Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Learning on Graphs with Large Language Models(LLMs): A Deep Dive into Model Robustness [39.57155321515097]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示している。 LLMがグラフ上での学習において堅牢性を示すかどうかは不明である。
  論文  参考訳（メタデータ） (2024-07-16T09:05:31Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [70.48605869773814]
  カタストロフィック・ナッシング(英: Catastrophic forgetting、CF)は、機械学習において、モデルが以前に学習した情報を忘れたときに発生する現象である。 本研究では,大規模言語モデルにおける連続的調律時の忘れ現象を実験的に評価する。
  論文  参考訳（メタデータ） (2023-08-17T02:53:23Z)
• Soft Error Reliability Analysis of Vision Transformers [14.132398744731635]
  自己注意機構を利用する視覚変換器(ViT)は、多くの古典的な視覚タスクにおいて優れた性能を示している。 既存のViTは、主に性能と精度を最適化するが、ソフトエラーによって引き起こされるViTの信頼性問題は概して見過ごされている。 本研究では,ViTの信頼性について検討し,異なるアーキテクチャの粒度の脆弱性について検討する。
  論文  参考訳（メタデータ） (2023-02-21T06:17:40Z)
• Degradation Prediction of Semiconductor Lasers using Conditional Variational Autoencoder [0.0]
  本稿では, 特定の知識や物理モデルを用いることなく, 劣化傾向を予測できる新しいデータ駆動手法を提案する。 提案手法は、教師なし手法、条件付き変分オートエンコーダに基づいており、垂直キャビティ表面発光レーザ(VCSEL)と可変エッジ発光レーザ信頼性データを用いて検証されている。 実験結果から,(i)F1スコア95.3%,(ii)ベースラインMLに基づく異常検出技術に優れ,(iii)故障したデバイスを早期に予測して老化試験の短縮に役立てることにより,モデルが良好な劣化予測と一般化性能を達成できることが確認された。
  論文  参考訳（メタデータ） (2022-11-05T08:10:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。