論文の概要: When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.16312v1
• Date: Mon, 04 May 2026 14:05:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 12:34:33.87989
• Title: When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning
• Title（参考訳）: 行動が消える時--自己再生強化学習における対人行動除去
• Authors: Arahan Kujur,
• Abstract要約: 自己再生強化学習における対人行動マスキングについて検討する。 学習したマスキングは、ランダムなマスキングや学習した摂動よりもかなり多くの損傷を引き起こすことがわかった。 機械的には、敵はリーチ重みのあるアクションキャパシティによって捕捉される高価値な決定ポイントを目標とする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study adversarial action masking in self-play reinforcement learning: an attacker selectively removes legal actions from a victim's action set. Unlike observation or action perturbations, removal eliminates decision options before the agent acts. Across poker games scaling from 6 to 5,531 information states and two non-poker domains, learned masking causes substantially more damage than random masking and learned perturbation baselines. The attack persists across Q-learning, PPO, NFSP, neural NFSP, and DQN victims; transfers across agents; is amplified by self-play; and shows no recovery under extended masked training. Mechanistically, the adversary targets high-value decision points, captured by reach-weighted contingent action capacity (CAC$_w$) and a value-weighted refinement CAC$_v$. These results identify action availability as a distinct robustness surface in self-play RL.
• Abstract（参考訳）: 本研究では,攻撃者が被害者の行動セットから法的行為を選択的に除去する自己プレイ強化学習における敵の行動マスキングについて検討する。 観察や行動摂動とは異なり、除去はエージェントが作用する前に決定オプションを除去する。 ポーカーゲーム全体で、6から5,531の情報状態と2つの非ポーカードメインがスケーリングされ、学習されたマスキングはランダムマスキングよりも著しくダメージを受け、摂動ベースラインが学習される。 攻撃はQラーニング、PPO、NFSP、ニューラルNFSP、DQNの犠牲者、エージェント間の移動、セルフプレイによる増幅、拡張マスクトレーニングによる回復は見られない。 メカニカルには、リーチ重み作用容量(CAC$_w$)と値重み改善CAC$_v$によって捕捉される高値決定点を目標とする。 これらの結果から, セルフプレイRLにおいて, アクション・アベイラビリティは顕著なロバスト性面であることがわかった。

関連論文リスト

• Attention Hijacking: Response Manipulation Across Queries in Vision-Language Models [57.870323273127234]
  本研究の目的は,画像の持続的支配パターンに対して内的注意を喚起する新たな敵攻撃であるtextbfAttention Hijacking を提案することである。 提案手法は,クエリの特定の単語に対する操作された出力の依存性を低減する。
  論文  参考訳（メタデータ） (2026-05-17T08:02:27Z)
• VAM: Verbalized Action Masking for Controllable Exploration in RL Post-Training -- A Chess Case Study [44.343609587962874]
  本稿では,アクションマスクをプロンプトで動詞化し,モデルがマスクセットからアクションを出力することを強制するVerbalized Action Masking (VAM)を提案する。 我々は,VAMをチェスで学習し,エンジンの対戦相手と対戦して状態を生成するエンジンプレイシステムと,定位置データセットから検証器スコアでトレーニングする固定データセットシステムという,2つのトレーニング体制の下で評価する。
  論文  参考訳（メタデータ） (2026-02-18T19:56:43Z)
• CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution [49.689452243966315]
  ツールコール機能を備えたAIエージェントは、IPI(Indirect Prompt Injection)攻撃の影響を受けやすい。 本稿では,選択防衛フレームワークCausalArmorを提案する。 AgentDojoとDoomArenaの実験は、CausalArmorが攻撃的な防御のセキュリティと一致することを示した。
  論文  参考訳（メタデータ） (2026-02-08T11:34:08Z)
• Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning [89.1856483797116]
  MLLMをベースとした組込みエージェントに視覚的バックドアを注入する最初のフレームワークであるBEATを紹介する。 テキストトリガーとは異なり、オブジェクトトリガーは視点や照明の幅が広いため、確実に移植することは困難である。 BEATは攻撃の成功率を最大80%まで達成し、強い良識のあるタスクパフォーマンスを維持します。
  論文  参考訳（メタデータ） (2025-10-31T16:50:49Z)
• AdaDoS: Adaptive DoS Attack via Deep Adversarial Reinforcement Learning in SDN [11.539067583230475]
  本稿では,既存のDoS検出器による検出を回避しつつ,ネットワーク操作を妨害するアダプティブアタックモデルであるAdaDoSを紹介する。 AdaDoSは、DoSライクな攻撃シーケンスを開発するための敵の強化学習の最初の応用である。
  論文  参考訳（メタデータ） (2025-10-23T13:51:40Z)
• Provably Invincible Adversarial Attacks on Reinforcement Learning Systems: A Rate-Distortion Information-Theoretic Approach [22.90190828541341]
  マルコフ決定プロセス(MDP)のための強化学習(RL)は多くのセキュリティ関連アプリケーションで登場している。 本稿では,RLに対する「不可逆的」あるいは「不可逆的」な逆攻撃を提案する。
  論文  参考訳（メタデータ） (2025-10-15T17:48:19Z)
• Robust Deep Reinforcement Learning in Robotics via Adaptive Gradient-Masked Adversarial Attacks [15.825229211045647]
  本稿では、DRLとグラデーションベースのソフトマスキング機構を組み合わせたホワイトボックス攻撃手法であるAGMRアタックを提案し、臨界状態次元を動的に識別し、敵のポリシーを最適化する。 AGMRは、被害者エージェントのパフォーマンスを低下させ、敵防御機構を通じて被害者エージェントの堅牢性を高める、最先端の敵攻撃方法より優れる。
  論文  参考訳（メタデータ） (2025-03-26T15:08:58Z)
• Object-Centric Latent Action Learning [70.3173534658611]
  本稿では,画素ではなくオブジェクトを対象とする,オブジェクト中心の潜在動作学習フレームワークを提案する。 我々は、自己教師対象中心の事前学習を利用して、行動関連や注意をそらすダイナミクスを歪めている。 その結果, 物体中心の事前学習は, トラクタの負の効果を50%軽減することがわかった。
  論文  参考訳（メタデータ） (2025-02-13T11:27:05Z)
• Adversarial Inception Backdoor Attacks against Reinforcement Learning [16.350898218047405]
  最近の研究は、訓練時間、バックドア中毒に対するDeep Reinforcement Learning (DRL)アルゴリズムの脆弱性を実証している。 本稿では,厳格な報酬制約の下で,DRLに対する新たなバックドア攻撃法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T19:50:28Z)
• Adv-Attribute: Inconspicuous and Transferable Adversarial Attack on Face Recognition [111.1952945740271]
  Adv-Attribute (Adv-Attribute) は、顔認証に対する不明瞭で伝達可能な攻撃を生成するように設計されている。 FFHQとCelebA-HQデータセットの実験は、提案されたAdv-Attributeメソッドが最先端の攻撃成功率を達成することを示している。
  論文  参考訳（メタデータ） (2022-10-13T09:56:36Z)
• Disturbing Reinforcement Learning Agents with Corrupted Rewards [62.997667081978825]
  強化学習アルゴリズムに対する報酬の摂動に基づく異なる攻撃戦略の効果を分析します。 敵対的な報酬をスムーズに作成することは学習者を誤解させることができ、低探査確率値を使用すると、学習した政策は報酬を腐敗させるのがより堅牢であることを示しています。
  論文  参考訳（メタデータ） (2021-02-12T15:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。