論文の概要: On the Framing Effect of AI Red-Teaming Instructions: Evidence from Prior Exercises and Controlled Simulations

• arxiv url: http://arxiv.org/abs/2611.00412v1
• Date: Fri, 30 Oct 2026 22:02:40 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:09:23.541659
• Title: On the Framing Effect of AI Red-Teaming Instructions: Evidence from Prior Exercises and Controlled Simulations
• Title（参考訳）: AIレッドチーム指導のフラーミング効果について:事前演習と制御されたシミュレーションからの証拠
• Abstract要約: リスクドメインや攻撃者,調査中のモデルなどのパラメータを保持するシミュレーションを,命令のみを変更しながら実行します。 3つのリスクドメインにわたる45の命令フレームと3レベルのリスク粒度を導出し、1フレームあたり100のバリエーションを生成し、それぞれが5つのオープンウェイトターゲットモデルに対してデプロイする。 一般化線形混合モデルを用いて、特定の命令特性が攻撃成功率を著しく予測できることを見出した。
• 参考スコア（独自算出の注目度）: 13.216044743261252
• License:
• Abstract: AI red-teaming, adversarially probing generative AI systems to surface harms, has become a central evaluation method. However, prior work has highlighted that red-teaming is a fairly open-ended task, laden with myriad design choices that can shape its findings. In this work, we focus on the instructions used to conduct red-teaming exercises and hypothesize that they can significantly affect outcomes in a manner analogous to the framing effect in psychology, where the format in which information is presented greatly impacts how people respond. To understand whether and why instructions impact red-teaming outcomes, first, we analyze the range of ways in which instructions have historically been formulated, reviewing 228 instances of prior work. Second, based on takeaways from this review, we run controlled simulations that hold parameters such as the risk domain, the attacker, and the model under investigation fixed while varying only the instructions. From five real instruction templates used by industry and academic organizations, we derive 45 instruction frames across three risk domains and three levels of risk granularity, generating 100 variants per frame, and deploy each against five open-weights target models, for 22,500 attacks. Using a generalized linear mixed model, we find that certain instruction properties significantly predict attack success rates: the lowest and highest levels of risk granularity both outperform intermediate specificity, as do short and long instructions relative to medium-length ones. The presence of examples is associated with higher attack success rates, while supplying explicit harm definitions yields lower ones. As alignment evaluations become increasingly automated, our results suggest that humans continue to shape red-teaming outcomes substantially through the instructions they provide to scaffold the activity.
• Abstract（参考訳）: 生成するAIシステムを逆向きに調査するAIのリピートは、中心的な評価方法となっている。 しかしながら、以前の研究は、レッドチームはかなりオープンな作業であり、その発見を形作るような無数の設計上の選択を伴っていることを強調している。 本研究では,情報提示形式が人々の反応に大きく影響する,心理学におけるフレーミング効果に類似した方法で結果に有意な影響を及ぼすと仮定する。 インストラクションがリピート結果にどう影響するかを理解するために、まず、これまでの228のインストラクションをレビューして、命令が歴史的に定式化された方法の範囲を分析します。 次に, リスクドメイン, 攻撃者, 調査中のモデルなどのパラメータを保持する制御されたシミュレーションを実行する。 業界や学術機関が使用する5つの実際の命令テンプレートから、3つのリスクドメインにわたる45の命令フレームと3レベルのリスク粒度を導き、1フレームあたり100のバリエーションを生成し、22,500の攻撃で5つのオープンウェイトターゲットモデルに対してそれぞれデプロイする。 一般化線形混合モデルを用いて、特定の命令特性が攻撃成功率を著しく予測することを発見した。 例の存在はより高い攻撃成功率に関連付けられ、明示的な調和の定義を提供すると、より低いものが得られる。 アライメント評価がますます自動化されるにつれて、我々の結果は、人間が活動の足場として提供する指示を通じて、レッドチームの結果を大きく形成し続けることを示唆している。

関連論文リスト

• The Target Agent Is Its Own Best Critic but a Poor Proposer: Self-Improved Red Teaming [16.006142419028208]
  対象のセッション自体(自己批判)や個別にインスタンス化された批評家(外部批判)によって批判が発生することを示す。 自己批判は、ターゲットのライブ実行コンテキストに基礎を置いているため、より効果的であることがわかった。 対照的に、自己プロポーザルは、敵の目的に対する認識が明示的な拒絶と非拒絶的なサンドバッグを誘発するため、実質的には効果が低い。
  論文  参考訳（メタデータ） (2026-10-26T07:34:02Z)
• SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
  コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。 操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。 SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
  論文  参考訳（メタデータ） (2026-08-31T03:39:43Z)
• Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
  我々は9つの詳細なサイバーリスクモデルを開発する。 各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。 個々の見積もりはモンテカルロシミュレーションによって集約される。
  論文  参考訳（メタデータ） (2025-12-09T17:54:17Z)
• Amplifying Machine Learning Attacks Through Strategic Compositions [25.796285779866686]
  我々は,モデルの推論フェーズにおいて,逆例,属性推論,メンバシップ推論,プロパティ推論という,よく研究された4つの攻撃に焦点を当てた。 本研究では,属性推論を準備レベルで支援するプロパティ推論と,その実行レベルでのプロパティ推論を補助する逆例の4つの効果的な攻撃成分を同定する。 我々の研究は、研究者や実践者が、複数の攻撃戦略を含む高度な敵の設定を検討するために役立ちます。
  論文  参考訳（メタデータ） (2025-06-23T17:38:48Z)
• Indiscriminate Disruption of Conditional Inference on Multivariate Gaussians [60.22542847840578]
  敵対的機械学習の進歩にもかかわらず、敵対者の存在下でのガウスモデルに対する推論は特に過小評価されている。 我々は,意思決定者の条件推論とその後の行動の妨害を希望する自己関心のある攻撃者について,一組の明らかな変数を乱すことで検討する。 検出を避けるため、攻撃者は、破損した証拠の密度によって可否が決定される場合に、攻撃が可否を示すことを望んでいる。
  論文  参考訳（メタデータ） (2024-11-21T17:46:55Z)
• Preference Poisoning Attacks on Reward Model Learning [47.00395978031771]
  ペア比較による報酬モデル学習における脆弱性の性質と範囲について検討する。 本稿では,これらの攻撃に対するアルゴリズム的アプローチのクラスとして,勾配に基づくフレームワークと,ランク・バイ・ディスタンス手法のいくつかのバリエーションを提案する。 最高の攻撃は多くの場合、非常に成功しており、最も極端な場合、100%の成功率を達成することができ、データのわずか0.3%が毒殺されている。
  論文  参考訳（メタデータ） (2024-02-02T21:45:24Z)
• Black-box Adversarial Attacks against Dense Retrieval Models: A Multi-view Contrastive Learning Method [115.29382166356478]
  本稿では,敵探索攻撃(AREA)タスクを紹介する。 DRモデルは、DRモデルによって取得された候補文書の初期セットの外側にあるターゲット文書を取得するように、DRモデルを騙すことを目的としている。 NRM攻撃で報告された有望な結果は、DRモデルに一般化されない。 マルチビュー表現空間における対照的な学習問題として,DRモデルに対する攻撃を形式化する。
  論文  参考訳（メタデータ） (2023-08-19T00:24:59Z)
• The Space of Adversarial Strategies [6.295859509997257]
  機械学習モデルにおける最悪のケース動作を誘発するインプットである逆例は、過去10年間に広く研究されてきた。 最悪の場合(すなわち最適な)敵を特徴づける体系的なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-09-09T20:53:11Z)
• ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models [64.03398193325572]
  機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。 私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。 私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
  論文  参考訳（メタデータ） (2021-02-04T11:35:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。