論文の概要: Fault Injection Attacks on Q-Learning: Analysis, Vulnerabilities, and Countermeasures
- arxiv url: http://arxiv.org/abs/2611.16151v1
- Date: Thu, 12 Nov 2026 01:24:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.296827
- Title: Fault Injection Attacks on Q-Learning: Analysis, Vulnerabilities, and Countermeasures
- Title(参考訳): Q-Learningにおけるフォールトインジェクション攻撃:分析・脆弱性・対策
- Abstract要約: 本稿では,ChipWhispererプラットフォーム上での電圧およびクロックグリッチ攻撃によるQ-Learning実装のセキュリティ解析について述べる。
標準的なQ-Table実装では、フォールトは学習中に報酬、アクションの選択、Q値の更新を破損させ、推論中に選択したアクションを変更する。
この分析はLinearとDeep Q-Learningに拡張され、そこではフォールトが学習中に保存された重みを破損させ、推論中に行動を変化させる。
- 参考スコア(独自算出の注目度): 12.529112618138017
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hardware fault injection attacks threaten machine learning systems, yet their impact on reinforcement learning (RL) has received little attention despite the use of RL in safety-critical applications. This paper presents a security analysis of Q-Learning implementations under voltage and clock glitching attacks on a ChipWhisperer platform, evaluating five variants: Standard, Robust, Resilient, Linear, and Deep Q-Learning. In standard Q-Table implementations, faults corrupt reward computation, action selection, and Q-value updates during learning, and change the selected action during inference. Robust Q-Learning does not prevent these attacks: NaN and infinite values injected during learning persist in the Q-table, and its greedy policy uses the same code as standard Q-Learning. This paper also evaluates a Resilient Q-Learning variant that applies triple modular redundancy with majority voting. It corrects corruption of a single Q-table copy, but inputs shared by the copies, such as the reward, and the voting code itself remain outside its protection. The analysis extends to Linear and Deep Q-Learning, where faults corrupt stored weights during learning and change actions during inference. Moving beyond benchmark environments, this work evaluates an online traffic light controller in a microscopic traffic simulator, where a single injected infinite value degrades accumulated vehicle waiting time by 148x while corrupting under 4% of the Q-table, and where triple modular redundancy corrected the faults injected in our tests, although glitching could still halt the device. Altogether, this work provides a basis for understanding and securing RL deployments against fault injection attacks.
- Abstract(参考訳): ハードウェアフォールトインジェクション攻撃は機械学習システムを脅かすが、その強化学習(RL)への影響はほとんど注目されていない。
本稿では,ChipWhispererプラットフォーム上での電圧およびクロックグリッチ攻撃によるQラーニング実装のセキュリティ解析を行い,Standard, Robust, Resilient, Linear, Deep Q-Learningの5つの変種を評価する。
標準的なQ-Table実装では、フォールトは学習中に報酬計算、アクション選択、Q値更新を破損させ、推論中に選択したアクションを変更する。
学習中に注入されるNaNと無限値は、Qテーブルに持続し、その欲求は標準Qラーニングと同じコードを使用する。
本稿では, 多数決で三重モジュール冗長性を適用したレジリエントQ-Learning変異体についても検討する。
単一のQテーブルコピーの破損を補正するが、報酬などのコピーによって共有される入力は保護外にある。
この分析はLinearとDeep Q-Learningに拡張され、そこではフォールトが学習中に保存された重みを破損させ、推論中に行動を変化させる。
ベンチマーク環境を超えて、この研究は、顕微鏡的な交通シミュレータにおけるオンライントラフィックライトコントローラを評価し、単一の注入無限値が、Qテーブルの4%以下で破損しながら128倍の累積待ち時間を低下させ、また、3重モジュール冗長性によってテストで注入された障害を補正する。
この研究は、フォールトインジェクション攻撃に対するRLデプロイメントの理解と安全性の基盤を提供する。
関連論文リスト
- Q-learning Penalized Transformer for Safe Offline Reinforcement Learning [59.26714065630563]
本稿では、オフラインデータセットを用いた安全制約を満たすためのポリシーのトレーニングを含む、安全なオフライン強化学習の問題に対処する。
本稿では,制約認識値推定による条件付きシーケンスモデリングを橋渡しする,訓練・推論一貫したフレームワークであるQ-learning Penalized Transformer Policy (QPT)を提案する。
本稿では,Q-penalized conditional generation がいかに安全性と性能を向上するかを特徴付ける,スタイリングされた近決定性CMDPの原理解析を行う。
論文 参考訳(メタデータ) (2026-09-28T06:43:22Z) - Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。
ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
論文 参考訳(メタデータ) (2026-09-14T18:58:09Z) - Do You Really Need to Pretrain Q-Functions for Online RL Fine-Tuning? [68.87153412034499]
本研究は,Q-関数の事前学習が,事前学習ベースポリシー上での微調整に実際に役立つかどうかを考察する。
事前訓練中に学習したQ関数は、事前訓練された政策のQ関数であり、オンラインの微調整が収束するQ関数ではない。
オンラインRLにおけるQ関数学習のブートストラップとして,多種多様なポリシーをトレーニングし,プールされたロールアウトを利用する簡単な方法であるPolicy Ensemble (IPE) による初期化を提案する。
論文 参考訳(メタデータ) (2026-07-29T17:59:51Z) - Is Q-learning an Ill-posed Problem? [2.4424095531386234]
本稿では,連続環境におけるQ-ラーニングの不安定性について検討する。
比較的単純なベンチマークでも、Q-ラーニングの基本課題は本質的に悪用され、失敗しがちであることを示す。
論文 参考訳(メタデータ) (2025-02-20T08:42:30Z) - Strategically Conservative Q-Learning [89.17906766703763]
オフライン強化学習(RL)は、RLの実用性を拡張するための魅力的なパラダイムである。
オフラインRLの最大の難しさは、オフ・オブ・ディストリビューション(OOD)アクションに遭遇する際の近似誤差の影響を緩和することである。
本稿では, 予測が容易かつ困難であるOODデータを識別する, SCQ(Strategical conservative Q-Learning) という新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-06T22:09:46Z) - Q-Learning with Differential Entropy of Q-Tables [4.221871357181261]
我々は、Q-ラーニングの長期トレーニングセッションにおけるパフォーマンスの低下は、情報の喪失によって引き起こされると推測する。
本稿では,Q-ラーニングアルゴリズムに外部情報損失検出器として,Q-tables(DE-QT)の微分エントロピーを導入する。
論文 参考訳(メタデータ) (2020-06-26T04:37:10Z) - Conservative Q-Learning for Offline Reinforcement Learning [106.05582605650932]
CQLは既存のオフラインRLメソッドよりも大幅に優れており、多くの場合、ファイナルリターンの2~5倍高いポリシを学習しています。
理論的には、CQLは現在のポリシーの価値の低いバウンダリを生成し、理論的改善保証を伴う政策学習手順に組み込むことができることを示す。
論文 参考訳(メタデータ) (2020-06-08T17:53:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。