論文の概要: PVF (Parameter Vulnerability Factor): A Quantitative Metric Measuring AI Vulnerability Against Parameter Corruptions

• arxiv url: http://arxiv.org/abs/2405.01741v2
• Date: Thu, 16 May 2024 02:30:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 18:15:48.782483
• Title: PVF (Parameter Vulnerability Factor): A Quantitative Metric Measuring AI Vulnerability Against Parameter Corruptions
• Title（参考訳）: PVF (Parameter Vulnerability Factor): パラメータ破壊に対するAI脆弱性の定量的測定
• Authors: Xun Jiao, Fred Lin, Harish D. Dixit, Joel Coburn, Abhinav Pandey, Han Wang, Venkat Ramesh, Jianyu Huang, Wang Xu, Daniel Moore, Sriram Sankar,
• Abstract要約: 本稿では,コンピュータアーキテクチャコミュニティにおけるアーキテクチャ脆弱性要因(AVF)に触発された,新しい量的尺度であるVulnerability Factor(PVF)を提案する。 PVFは任意のAIモデルに適用可能であり、AI脆弱性/レジリエンス評価プラクティスの統合と標準化を支援する可能性がある。
• 参考スコア（独自算出の注目度）: 7.652441604508354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliability of AI systems is a fundamental concern for the successful deployment and widespread adoption of AI technologies. Unfortunately, the escalating complexity and heterogeneity of AI hardware systems make them increasingly susceptible to hardware faults (e.g., bit flips) that can potentially corrupt model parameters. When this occurs during AI inference/servicing, it can potentially lead to incorrect or degraded model output for users, ultimately affecting the quality and reliability of AI services. In light of the escalating threat, it is crucial to address key questions: How vulnerable are AI models to parameter corruptions, and how do different components (such as modules, layers) of the models exhibit varying vulnerabilities to parameter corruptions? To systematically address this question, we propose a novel quantitative metric, Parameter Vulnerability Factor (PVF), inspired by architectural vulnerability factor (AVF) in computer architecture community, aiming to standardize the quantification of AI model vulnerability against parameter corruptions. We define a model parameter's PVF as the probability that a corruption in that particular model parameter will result in an incorrect output. In this paper, we present several use cases on applying PVF to three types of tasks/models during inference -- recommendation (DLRM), vision classification (CNN), and text classification (BERT), while presenting an in-depth vulnerability analysis on DLRM. PVF can provide pivotal insights to AI hardware designers in balancing the tradeoff between fault protection and performance/efficiency such as mapping vulnerable AI parameter components to well-protected hardware modules. PVF metric is applicable to any AI model and has a potential to help unify and standardize AI vulnerability/resilience evaluation practice.
• Abstract（参考訳）: AIシステムの信頼性は、デプロイメントの成功とAI技術の広範な採用に対する基本的な懸念である。 残念ながら、AIハードウェアシステムのエスカレートする複雑さとヘテロジニティは、モデルパラメータを破損させる可能性のあるハードウェアの欠陥(例えばビットフリップ)の影響をますます受けやすくする。 これがAI推論/サービス中に発生する場合、ユーザにとって誤ったあるいは劣化したモデルアウトプットが発生し、最終的にはAIサービスの品質と信頼性に影響を与える可能性がある。 モデル内のさまざまなコンポーネント(モジュール、レイヤなど)が、パラメータの破損に対して、どのようにさまざまな脆弱性を示すのか? この問題を体系的に解決するために,コンピュータアーキテクチャコミュニティにおいて,AIモデル脆弱性のパラメータ破損に対する定量化を目標とした,新しい量的尺度であるパラメータ脆弱性係数(PVF)を提案する。 モデルパラメータのPVFを、そのモデルパラメータの破損が誤った出力をもたらす確率として定義する。 本稿では,推論中にPVFを3種類のタスク/モデルに適用するためのいくつかのユースケースについて述べる。 PVFは、脆弱なAIパラメータコンポーネントを保護されたハードウェアモジュールにマッピングするなど、フォールトプロテクションとパフォーマンス/効率のトレードオフのバランスにおいて、AIハードウェアデザイナに重要な洞察を提供することができる。 PVFメトリックは任意のAIモデルに適用可能であり、AI脆弱性/レジリエンス評価プラクティスの統合と標準化を支援する可能性がある。

関連論文リスト

• Enhanced Model Robustness to Input Corruptions by Per-corruption Adaptation of Normalization Statistics [22.876222327262596]
  本稿では,視覚システムのモデルロバスト性を高めるために,正規化統計のPer-corruption Adaptation(PAN)を導入する。 提案手法は, 汚職型識別モジュール, (ii) 特定汚職型に基づく正規化層統計の動的調整, (iii) 入力データに基づくこれらの統計のリアルタイム更新の3つの重要な要素を包含する。
  論文  参考訳（メタデータ） (2024-07-08T23:20:18Z)
• AI Sandbagging: Language Models can Strategically Underperform on Evaluations [1.0485739694839669]
  トラストロックされたAIシステムは、AIシステムの安全性を保証するために不可欠である。 AIシステムの開発者は、サンドバッグ評価のためのインセンティブを持つかもしれない。 性能評価がサンドバッグに弱いことを示す。
  論文  参考訳（メタデータ） (2024-06-11T15:26:57Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• STEAM & MoSAFE: SOTIF Error-and-Failure Model & Analysis for AI-Enabled Driving Automation [4.820785104084241]
  本稿では、SOTIF因果モデルの改良として、STEAM(SotIF Temporal Error and Failure Model)を定義した。 第2に,システム設計モデルに基づくSTEAMのインスタンス化が可能なモデルベースSOTIF解析法(MoSAFE)を提案する。
  論文  参考訳（メタデータ） (2023-12-15T06:34:35Z)
• Intrusion Detection System with Machine Learning and Multiple Datasets [0.0]
  本稿では,機械学習(ML)を利用した拡張侵入検知システム(IDS)について検討する。 最終的に、この改良されたシステムは、非倫理的なハッカーによる攻撃に対抗するために使用できる。
  論文  参考訳（メタデータ） (2023-12-04T14:58:19Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)
• HuntGPT: Integrating Machine Learning-Based Anomaly Detection and Explainable AI with Large Language Models (LLMs) [0.09208007322096533]
  我々はランダムフォレスト分類器を応用した特殊な侵入検知ダッシュボードであるHuntGPTを提案する。 この論文は、Certified Information Security Manager (CISM) Practice Examsを通じて評価された、システムのアーキテクチャ、コンポーネント、技術的正確性について論じている。 その結果、LLMによってサポートされ、XAIと統合された会話エージェントは、侵入検出において堅牢で説明可能な、実行可能なAIソリューションを提供することを示した。
  論文  参考訳（メタデータ） (2023-09-27T20:58:13Z)
• LAMBO: Large AI Model Empowered Edge Intelligence [71.56135386994119]
  次世代エッジインテリジェンスは、オフロード技術を通じて様々なアプリケーションに恩恵をもたらすことが期待されている。 従来のオフロードアーキテクチャは、不均一な制約、部分的な認識、不確実な一般化、トラクタビリティの欠如など、いくつかの問題に直面している。 我々は、これらの問題を解決するための10億以上のパラメータを持つLarge AI Model-Based Offloading (LAMBO)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:25:42Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)
• Trustworthy AI [75.99046162669997]
  入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。 我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
  論文  参考訳（メタデータ） (2020-11-02T20:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。