論文の概要: Does Moral Reasoning Training Help or Hurt? Red-Teaming RL-Trained Ethical Agents with Persona Attacks

• arxiv url: http://arxiv.org/abs/2609.17552v1
• Date: Thu, 16 Jul 2026 18:09:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.552637
• Title: Does Moral Reasoning Training Help or Hurt? Red-Teaming RL-Trained Ethical Agents with Persona Attacks
• Title（参考訳）: モラル推論トレーニングは役に立つか、それともハートか? : ペルソナアタックを伴うRL訓練倫理的エージェント
• Abstract要約: モラル・リワードRLは言語モデルエージェントをより協調させることができるが、そのアライメントが対人圧に耐えられるかどうかは不明である。 我々は5つのペルソナ攻撃でGemma-2-27B/9BとLlama-3.1-8Bエージェントを道徳的に訓練し、ノイズ・リワード制御、逆PPO、表現分析、ステアリング、ヘッドアブレーションで因果関係を探索した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Moral-reward RL can make language-model agents more cooperative, but whether that alignment survives adversarial persona pressure is unknown. Such attacks are realistic: retrieved context, tool outputs, or multi-turn framing can all inject role instructions that compete with the agent's moral objective. We red-team morally trained Gemma-2-27B/9B and Llama-3.1-8B agents with five persona attacks, then probe causality with noise-reward controls, adversarial PPO, representation analysis, steering, and head ablations. At 27B, moral RL cuts mean adversarial degradation by 5.2x but costs ~11pp ETHICS accuracy; across 205 scenarios and 5 seeds, reasoning-level moral reward yields 5.8x robustness while a matched random reward yields none. The training also reshapes representation geometry (mean CKA 0.82/0.83 vs. 0.98 for noise), moves peak attack processing 8 layers earlier, and exposes a rank-1 L21 direction that recovers 83% of full PPO's average robustness. One failure mode survives all of this. Against Fiction role-play, L21 steering recovers only 29% of the gap, and head ablation finds 38 compliance heads competing with 25 alignment heads. Moral RL thus builds robustness that is partly linear and partly circuit-distributed, transferable through activation steering, yet still beaten by named-character role-play.
• Abstract（参考訳）: モラル・リワードRLは言語モデルエージェントをより協調させることができるが、そのアライメントが対人圧に耐えられるかどうかは不明である。 このような攻撃は現実的であり、検索されたコンテキスト、ツール出力、マルチターンフレーミングは、エージェントの道徳的目的と競合するロール命令を全て注入することができる。 我々は5つのペルソナ攻撃でGemma-2-27B/9BとLlama-3.1-8Bエージェントを道徳的に訓練し、ノイズ・リワード制御、逆PPO、表現分析、ステアリング、ヘッドアブレーションで因果関係を探索した。 27Bでは、道徳的RLのカットは敵の劣化を5.2倍に抑えるが、コストは ~11pp ETHICS であり、205のシナリオと5つのシードにおいて、推論レベルの道徳的報酬は5.8倍の堅牢性を持ち、一致したランダムな報酬は得られない。 トレーニングはまた、表現幾何学(つまりCKA 0.82/0.83 vs. 0.98)を再設定し、ピーク攻撃処理を8層前に移動させ、PPO全体の平均ロバストネスの83%を回復するランク-1 L21方向を公開する。 1つの障害モードは、これら全てを生き残る。 フィクションのロールプレイに対して、L21のステアリングはギャップの29%しか回復せず、ヘッドアブレーションでは、コンプライアンスヘッドが25のアライメントヘッドと競合する38のアライメントヘッドが見つかった。 モラルRLは、部分的に線形であり、部分的に回路分散であり、アクティベーションステアリングによって転送可能であるが、名前付きキャラクタロールプレイによって打ち負かされるロバスト性を構築する。

関連論文リスト

• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• IB-RL: Isolated Bilateral Reinforcement Learning for Strategic Dialogue Agents [7.9227321734048495]
  強化学習(Reinforcement Learning, RL)は、数学的推論やコード実行など、定常的で検証可能な報酬を持つタスクにおいて、大きな言語モデル(LLM)を改善する上で大きな成果を上げている。 このようなインタラクティブな性質にもかかわらず、現在のRLアプローチは通常、固定されたエージェントやシミュレータに対してターゲットエージェントを訓練する。 この訓練パラダイムは、政策が相互に共通する戦略を学習するよりも、相補的な正規性を活用することを奨励している。 本稿では,両ロールが共同ロールアウトを通じて共進化し,各ロールが完全に独立したアドバンテージ,アクションマスクを通じて自身の報酬を最適化する,分離型バイラテラル強化学習(IB-RL)を提案する。
  論文  参考訳（メタデータ） (2026-08-07T02:59:53Z)
• A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism [11.543353599329675]
  検証可能な報酬を伴う強化学習は、より強力なエージェントを生み出すことを期待して、監督されたチェックポイントで日常的に実行される。 4Bから8Bのスケールで、小さな言語とビジョン言語モデルWebエージェントにスキルを追加するかどうかを問う。 エージェントがほとんどマスターしたタスクに対して、強力な教師付きベースラインの成功率を確実に改善する構成は存在しない。
  論文  参考訳（メタデータ） (2026-07-14T11:17:35Z)
• Depth-Dependent Indirect Prompt Injection in Tool-Calling ReAct Agents: Injection Depth, Payload Framing, and Turn-Budget Sensitivity [0.0]
  GPT-4o-miniとClaude Haikuに対して,0.36 USD以下のAPIコストで460のトライアルを実施した。 実験1では, GPT-4o-miniに対するASRは深さ1%から5。 研究2は、保守的なツール呼び出しと真の命令抵抗を組み合わせることで、すべての深さで0%のASRを達成するクロード俳句の深さ実験を再現する。 調査4では,ASRがターンキャップ3,5,7で安定であることを確認し,ターン予算がリスク要因ではないことを示した。
  論文  参考訳（メタデータ） (2026-05-29T00:28:42Z)
• Cybersecurity AI: A Game-Theoretic AI for Guiding Attack and Defense [1.0933254855925085]
  Generative Cut-the-Rope (G-CTR) はエージェントのコンテキストから攻撃グラフを抽出するゲーム理論誘導層である。 5つの実世界のエクササイズでは、G-CTRは専門家グラフ構造の70～90%と一致し、60～245倍高速で、手作業による分析より140倍以上安い。
  論文  参考訳（メタデータ） (2026-01-09T16:06:10Z)
• Safety Alignment of LMs via Non-cooperative Games [51.83432183158595]
  現在のアプローチは、逐次的な敵の訓練に頼り、敵のプロンプトを生成し、それらを防御するために微調整されたLMを生成する。 我々は,アタッカーLMとディフェンダーLMの非ゼロサムゲームとしての安全性アライメントを共同でトレーニングする,異なるパラダイムを導入する。 提案手法では、ポイントワイズスコアではなくペアワイズ比較から導出される優先型報酬信号を用いて、より堅牢な監視と、報酬ハッキングの軽減を実現する。
  論文  参考訳（メタデータ） (2025-12-23T22:13:14Z)
• Shoot First, Ask Questions Later? Building Rational Agents that Explore and Act Like People [81.63702981397408]
  限られたリソースを前提として、言語モデル(LM)に基づいたエージェントは、どの程度合理的に行動するのか? エージェント情報探索をベンチマークし,強化する手法を開発し,人間の行動から洞察を抽出する。 Spotterエージェントでは、LMのみのベースラインよりも14.7%の精度で精度を向上し、Captainエージェントでは、期待情報ゲイン(EIG)を0.227ビット(達成可能なノイズ天井の94.2%)まで引き上げる。
  論文  参考訳（メタデータ） (2025-10-23T17:57:28Z)
• Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models [64.47869632167284]
  従来の言語モデル(LM)の安全性アライメントは、リアクティブで非結合な手順に依存している。 このシーケンシャルなアプローチはミスマッチを生み出し、攻撃者は時代遅れの防御に過度に適合する一方、守備側は出現する脅威に常に遅れをとどめている。 我々は,攻撃者と防御エージェントが継続的なインタラクションを通じて共進化するオンラインセルフプレイ強化学習アルゴリズムであるSelf-RedTeamを提案する。
  論文  参考訳（メタデータ） (2025-06-09T06:35:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。