論文の概要: The Target Agent Is Its Own Best Critic but a Poor Proposer: Self-Improved Red Teaming

• arxiv url: http://arxiv.org/abs/2610.34965v1
• Date: Mon, 26 Oct 2026 07:34:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.786443
• Title: The Target Agent Is Its Own Best Critic but a Poor Proposer: Self-Improved Red Teaming
• Title（参考訳）: ターゲティング・エージェントは自分達の最高の批判だが、プロポーザー:自己改善されたレッドチーム
• Abstract要約: 対象のセッション自体(自己批判)や個別にインスタンス化された批評家(外部批判)によって批判が発生することを示す。 自己批判は、ターゲットのライブ実行コンテキストに基礎を置いているため、より効果的であることがわかった。 対照的に、自己プロポーザルは、敵の目的に対する認識が明示的な拒絶と非拒絶的なサンドバッグを誘発するため、実質的には効果が低い。
• 参考スコア（独自算出の注目度）: 16.006142419028208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic red teaming increasingly relies on large language models (LLMs) to iteratively diagnose failed attacks and propose improved adversarial prompts or injections. Although prior work strengthens this loop through prompt engineering and search-harness design, the mechanisms underlying its two core roles, criticism and attack proposal, has not been explored. To further investigate the core roles and therefore improve red teaming effectiveness, we disentangle two design choices: whether criticism is generated by the target session itself (self-criticism) or by a separately instantiated critic (external criticism), and whether that criticism is translated into the next attack by the target session (self-proposal) or by a separate attacker (external proposal). Through our analysis, we find that self-criticism is more effective because it is grounded in the target's live execution context, including observations, constraints, and available reasoning; removing reasoning reduces downstream attack success by 6%-17%. In contrast, self-proposal is substantially less effective because awareness of the adversarial objective induces explicit refusal and non-refusal sandbagging. These findings motivate a role-separated red-teaming approach: the target session diagnoses why an attack failed, while a separately instantiated attacker generates the next proposal. On DTAP-BENCH, spanning Telecom, Workflow, CRM, and Code domains, under both direct misuse and indirect threat models, as well as multiple agent frameworks, this configuration achieves 63.2% overall attack success rate (ASR), much higher than baselines. Our results show that effective automatic red teaming depends not only on model capability and search strategy, but also on how execution context and adversarial responsibility are distributed across model sessions.
• Abstract（参考訳）: 自動レッドチームリングは、失敗する攻撃を反復的に診断し、改善された敵のプロンプトやインジェクションを提案するために、大規模言語モデル(LLM)にますます依存している。 先行研究は、迅速なエンジニアリングとサーチハーネス設計を通じてこのループを強化するが、その2つの中核的役割、批判とアタックの提案の基礎となるメカニズムは検討されていない。 目的セッション自体(自己批判)や個別にインスタンス化された批判(外部批判)によって批判が生じるか、その批判が対象セッション(自己主張)によって次の攻撃に変換されるか、あるいは別の攻撃者(外部提案)によって引き起こされるかという2つの設計選択を解消する。 分析の結果,観察,制約,利用可能な推論など,対象のライブ実行状況に根ざした自己批判の方が有効であることが判明した。 対照的に、自己プロポーザルは、敵の目的に対する認識が明示的な拒絶と非拒絶的なサンドバッグを誘発するため、実質的には効果が低い。 ターゲットセッションは攻撃が失敗した理由を診断し、個別にインスタンス化された攻撃者が次の提案を生成する。 Telecom、Workflow、CRM、CodeドメインにまたがるDTAP-BENCHでは、直接誤用および間接的な脅威モデルと複数のエージェントフレームワークの両方の下で、この構成は、ベースラインよりもはるかに高い63.2%の全体的な攻撃成功率(ASR)を達成する。 この結果から, 効果的な自動レッドチーム化は, モデル能力や探索戦略だけでなく, 実行状況や対人責任がモデルセッション間でどのように分散されるかにも依存することがわかった。

関連論文リスト

• Toward Metacognitive One-Shot Indirect Prompt Injection: Strategy Abstraction Via Outcome-Conditioned Reflection [17.713444943152506]
  ツール利用大型言語モデル(LLM)エージェントは間接的プロンプトインジェクション(IPI)に対して脆弱である 既存のアダプティブアタックのほとんどは、ターゲットエージェントに対する繰り返しクエリと精製に依存している。 本研究では,攻撃適応を試験時間からオフライン戦略蒸留に移行するSAVORを提案する。
  論文  参考訳（メタデータ） (2026-08-09T16:19:05Z)
• Analyzing Defensive Misdirection Against Model-Guided Automated Attacks on Agentic AI Systems [0.0]
  エージェントAIシステムは、命令を解釈し、外部データを処理し、ツールを呼び出し、他のエージェントと調整するための言語モデルコンポーネントにますます依存している。 本研究は、標的システムの確率モデル、防御機構、および攻撃者の自動判断による攻撃防御設定を解析する。
  論文  参考訳（メタデータ） (2026-06-18T16:50:28Z)
• Defending against Adaptive Prompt Injection Attacks via Reasoning-enabled Task Alignment [25.752599132396437]
  間接的なプロンプトインジェクションは、エージェントがタスク実行中に検索するサードパーティデータに悪意のある命令を埋め込むことによって、LLMベースのエージェントをハイジャックする。 既存のディフェンスでは、静的なベンチマークでほぼゼロの攻撃成功率を報告しているが、最近のアダプティブ評価では、攻撃者がデプロイされたディフェンスに対して最適化を許せば、これらの結果は崩壊する。 本稿では,攻撃者が制御するデータではなく,ユーザタスクに対する防衛判断を基礎としたトレーニングベースのRETAを提案する。
  論文  参考訳（メタデータ） (2026-06-13T19:15:44Z)
• BYORn: Bootstrap Your Own Responses to Defend Large Vision-Language Models Against Backdoor Attacks [0.0]
  教師付き微調整は、下流タスクに自動回帰視覚言語モデルを適用する主要なアプローチである。 近年の研究では、このパラダイムはバックドア攻撃に対して非常に脆弱であることが示されている。 本研究では, 有害な標的応答が意味論的に理解できない場合が多いという観察に動機づけられた, バックドア・ローバスト微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-01T22:58:04Z)
• Intentional Deception as Controllable Capability in LLM Agents [0.0]
  本稿では,マルチエージェントシステムにおいて,意図的騙しを工学的能力として体系的に研究する。 本研究では,ターゲットエージェントの特徴を推定し,その信念や動機に反する行動に対して,意図的反応を操る2段階のシステムについて検討する。 認知的介入は、一様分布ではなく、特定の行動プロファイルに集中する差分効果を生じさせる。
  論文  参考訳（メタデータ） (2026-03-08T23:48:49Z)
• Towards Evaluting Fake Reasoning Bias in Language Models [47.482898076525494]
  論理に欠陥がある場合でも、モデルが推論の表面構造を好むことを示す。 我々は、Fake Reasoning Bias(FRB)を体系的に調査するベンチマークTheATERを紹介する。 我々は、主観的DPOと実データの両方で17の高度な大言語モデル(LRM)を評価する。
  論文  参考訳（メタデータ） (2025-07-18T09:06:10Z)
• The Silent Saboteur: Imperceptible Adversarial Attacks against Black-Box Retrieval-Augmented Generation Systems [101.68501850486179]
  本稿では,RAGシステムに対する敵攻撃について検討し,その脆弱性を同定する。 このタスクは、ターゲット文書を検索する非知覚的な摂動を見つけることを目的としており、もともとはトップ$k$の候補セットから除外されていた。 本稿では、攻撃者とターゲットRAG間の相互作用を追跡する強化学習ベースのフレームワークであるReGENTを提案する。
  論文  参考訳（メタデータ） (2025-05-24T08:19:25Z)
• REINFORCE Adversarial Attacks on Large Language Models: An Adaptive, Distributional, and Semantic Objective [57.57786477441956]
  応答の個体群に対する適応的・意味的最適化問題を提案する。 我々の目標は、Llama3の攻撃成功率(ASR)を2倍にし、サーキットブレーカー防御でASRを2%から50%に向上させることである。
  論文  参考訳（メタデータ） (2025-02-24T15:34:48Z)
• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。