論文の概要: PVF (Parameter Vulnerability Factor): A Quantitative Metric Measuring AI Vulnerability and Resilience Against Parameter Corruptions
- arxiv url: http://arxiv.org/abs/2405.01741v1
- Date: Thu, 2 May 2024 21:23:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-06 14:24:53.191696
- Title: PVF (Parameter Vulnerability Factor): A Quantitative Metric Measuring AI Vulnerability and Resilience Against Parameter Corruptions
- Title（参考訳）: PVF (Parameter Vulnerability Factor): パラメータ破壊に対するAIの脆弱性とレジリエンスを定量的に測定する尺度
- Authors: Xun Jiao, Fred Lin, Harish D. Dixit, Joel Coburn, Abhinav Pandey, Han Wang, Jianyu Huang, Venkat Ramesh, Wang Xu, Daniel Moore, Sriram Sankar,
- Abstract要約: パラメータの破損が誤ったモデル出力をもたらす可能性はどの程度あるか?
本稿では,コンピュータアーキテクチャコミュニティにおけるアーキテクチャ脆弱性要因(AVF)にインスパイアされた,新しい量的尺度であるVulnerability Factor(PVF)を提案する。
PVFは任意のAIモデルに適用可能であり、AI脆弱性/レジリエンス評価プラクティスの統合と標準化を支援する可能性がある。
- 参考スコア（独自算出の注目度）: 7.652441604508354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reliability of AI systems is a fundamental concern for the successful deployment and widespread adoption of AI technologies. Unfortunately, the escalating complexity and heterogeneity of AI hardware systems make them inevitably and increasingly susceptible to hardware faults (e.g., bit flips) that can potentially corrupt model parameters. Given this challenge, this paper aims to answer a critical question: How likely is a parameter corruption to result in an incorrect model output? To systematically answer this question, we propose a novel quantitative metric, Parameter Vulnerability Factor (PVF), inspired by architectural vulnerability factor (AVF) in computer architecture community, aiming to standardize the quantification of AI model resilience/vulnerability against parameter corruptions. We define a model parameter's PVF as the probability that a corruption in that particular model parameter will result in an incorrect output. Similar to AVF, this statistical concept can be derived from statistically extensive and meaningful fault injection (FI) experiments. In this paper, we present several use cases on applying PVF to three types of tasks/models during inference -- recommendation (DLRM), vision classification (CNN), and text classification (BERT). PVF can provide pivotal insights to AI hardware designers in balancing the tradeoff between fault protection and performance/efficiency such as mapping vulnerable AI parameter components to well-protected hardware modules. PVF metric is applicable to any AI model and has a potential to help unify and standardize AI vulnerability/resilience evaluation practice.
- Abstract（参考訳）: AIシステムの信頼性は、デプロイメントの成功とAI技術の広範な採用に対する基本的な懸念である。
残念なことに、AIハードウェアシステムのエスカレートする複雑さとヘテロジニティは、モデルパラメータを破損させる可能性のあるハードウェアの欠陥(例えばビットフリップ)に必然的に、ますます影響を受けやすくなります。
この課題を考えると、本論文は批判的な疑問に答えることを目的としている。 パラメータの破損が誤ったモデル出力をもたらす可能性はどの程度あるのか?
この問題に体系的に答えるために,コンピュータアーキテクチャコミュニティにおいて,パラメータ脆弱性因子 (AVF) に触発された新しい量的尺度であるパラメータ脆弱性因子 (PVF) を提案し,パラメータ破損に対するAIモデルレジリエンス/脆弱性の定量化を目指す。
モデルパラメータのPVFを、そのモデルパラメータの破損が誤った出力をもたらす確率として定義する。
AVFと同様に、この統計的概念は統計的に広範かつ有意義な断層注入(FI)実験から導かれる。
本稿では,推論中のPVFを3種類のタスク/モデルに適用するためのいくつかのユースケースについて述べる。
PVFは、脆弱なAIパラメータコンポーネントを保護されたハードウェアモジュールにマッピングするなど、フォールトプロテクションとパフォーマンス/効率のトレードオフのバランスにおいて、AIハードウェアデザイナに重要な洞察を提供することができる。
PVFメトリックは任意のAIモデルに適用可能であり、AI脆弱性/レジリエンス評価プラクティスの統合と標準化を支援する可能性がある。
関連論文リスト
- Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。
ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。
我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
論文 参考訳（メタデータ） (2025-02-18T02:26:50Z) - Evaluating Single Event Upsets in Deep Neural Networks for Semantic Segmentation: an embedded system perspective [1.474723404975345]
本稿では,組み込みディープニューラルネットワーク(DNN)のロバスト性評価について述べる。
本研究は,様々なエンコーダデコーダモデルの層間およびビット間感度をソフトエラーに精査することにより,セグメント化DNNのSEUに対する脆弱性を徹底的に調査する。
本稿では,資源制約によるデプロイメントに適したメモリや計算コストを伴わない,実用的な軽量なエラー軽減手法を提案する。
論文 参考訳（メタデータ） (2024-12-04T18:28:38Z) - Enhanced Model Robustness to Input Corruptions by Per-corruption Adaptation of Normalization Statistics [22.876222327262596]
本稿では,視覚システムのモデルロバスト性を高めるために,正規化統計のPer-corruption Adaptation(PAN)を導入する。
提案手法は, 汚職型識別モジュール, (ii) 特定汚職型に基づく正規化層統計の動的調整, (iii) 入力データに基づくこれらの統計のリアルタイム更新の3つの重要な要素を包含する。
論文 参考訳（メタデータ） (2024-07-08T23:20:18Z) - AI Sandbagging: Language Models can Strategically Underperform on Evaluations [1.0485739694839669]
信頼できる能力評価は、AIシステムの安全性を保証するために不可欠である。
AIシステムの開発者は、AIの実際の能力を説明するための評価のためのインセンティブを持つことができる。
本稿では,現代言語モデルにおけるサンドバッグ機能の評価を行う。
論文 参考訳（メタデータ） (2024-06-11T15:26:57Z) - Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文 参考訳（メタデータ） (2024-02-07T21:58:40Z) - STEAM & MoSAFE: SOTIF Error-and-Failure Model & Analysis for AI-Enabled
Driving Automation [4.820785104084241]
本稿では、SOTIF因果モデルの改良として、STEAM(SotIF Temporal Error and Failure Model)を定義した。
第2に,システム設計モデルに基づくSTEAMのインスタンス化が可能なモデルベースSOTIF解析法(MoSAFE)を提案する。
論文 参考訳（メタデータ） (2023-12-15T06:34:35Z) - Intrusion Detection System with Machine Learning and Multiple Datasets [0.0]
本稿では,機械学習(ML)を利用した拡張侵入検知システム(IDS)について検討する。
最終的に、この改良されたシステムは、非倫理的なハッカーによる攻撃に対抗するために使用できる。
論文 参考訳（メタデータ） (2023-12-04T14:58:19Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳（メタデータ） (2023-10-14T17:10:28Z) - LAMBO: Large AI Model Empowered Edge Intelligence [71.56135386994119]
次世代エッジインテリジェンスは、オフロード技術を通じて様々なアプリケーションに恩恵をもたらすことが期待されている。
従来のオフロードアーキテクチャは、不均一な制約、部分的な認識、不確実な一般化、トラクタビリティの欠如など、いくつかの問題に直面している。
我々は、これらの問題を解決するための10億以上のパラメータを持つLarge AI Model-Based Offloading (LAMBO)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-29T07:25:42Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T08:02:27Z) - Trustworthy AI [75.99046162669997]
入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。
我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
論文 参考訳（メタデータ） (2020-11-02T20:04:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。