論文の概要: CART: Closed-Loop Adaptive Red Teaming for Large Language Models

• arxiv url: http://arxiv.org/abs/2609.27336v1
• Date: Wed, 23 Sep 2026 04:16:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.883414
• Title: CART: Closed-Loop Adaptive Red Teaming for Large Language Models
• Title（参考訳）: CART: 大規模言語モデルのためのクローズドループ適応型レッドチーム
• Abstract要約: CART(Closed-Loop Adaptive Red Teaming)は、各結果を使用して、次にテストするものをガイドするフレームワークである。 テストを生成するChallengeと、テスト中のTarget、テキストのみのモデルや境界ツール使用エージェント、結果を評価するJuiceを分離する。
• 参考スコア（独自算出の注目度）: 91.66397227953821
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated red teaming often replays a fixed set of prompts, which measures known risks but cannot learn from failures found during testing. We present CART (Closed-Loop Adaptive Red Teaming), a framework that uses each result to guide what it tests next. CART begins with broad risk coverage, follows weaknesses that emerge, keeps new probes diverse, and records the evidence and source of every finding. It separates the Challenger that creates tests, the Target being tested, which may be a text-only model or a bounded tool-using agent, and the Judge that evaluates the results, allowing these roles to be studied independently. Across three evaluation families (Frontier, JAH, and Agentic), CART discovers more failures and higher average risk than static seed replay for every Target with an available baseline. The gains extend to tool-mediated agent tests, suggesting that contextual adaptation can reveal weaknesses that direct prompt replay does not exercise. These results describe what the test policies discover, not how often failures occur in real deployments. We also find that Challenger-Judge choices affect the evidence uncovered, highlighting the need for role separation and independent review. Overall, CART turns red teaming from a one-time checklist into a continuous, adaptive, and auditable search for model and agent weaknesses.
• Abstract（参考訳）: 自動化された赤いチーム編成は、既知のリスクを計測するが、テスト中に見つかった失敗から学ぶことができない、固定されたプロンプトのセットをリプレイすることが多い。 私たちはCART(Closed-Loop Adaptive Red Teaming)というフレームワークを紹介します。 CARTは幅広いリスクカバレッジから始まり、出現する弱点に従い、新しいプローブを多様に維持し、すべての発見の証拠と情報源を記録する。 テストを作成するチャレンジャー、テスト対象のターゲット、テキストのみのモデルまたは有界ツール使用エージェント、結果を評価するジャッジを分離し、これらのロールを独立して研究できるようにする。 3つの評価ファミリ(Frontier、JAH、Agenic)にわたって、CARTは、利用可能なベースラインを持つターゲット毎に静的なシードリプレイよりも、より多くの障害と平均リスクを検出する。 ゲインはツール経由のエージェントテストにまで拡張され、文脈適応によって直接の即興リプレイが実行できない弱点が明らかになる可能性があることを示唆している。 これらの結果は、実際のデプロイメントでどの程度の頻度で障害が発生するかではなく、テストポリシが発見するものを説明する。 また、チャレンジャー・ジャッジの選択は、明らかにされた証拠に影響し、役割分離と独立したレビューの必要性を強調します。 全体として、CARTは1回限りのチェックリストから、モデルとエージェントの弱点を連続的で適応的で監査可能な検索に変換する。

関連論文リスト

• Steganalysis of Adaptive Covert Collusion in Tool-Using Agent Populations: A Black-Box, Cross-Principal Approach [0.0]
  大規模言語モデル(LLM)は、単一のオペレータではなく、多くのオペレータによって、共有インフラストラクチャに並行してデプロイされるようになっている。 これにより、シングルエージェントのセーフガードが逃避する集団レベルのリスクが生じる。 我々は,クロスラン相互情報推定,置換試験,分布シフト統計,タイミングとツールコール側チャネルを組み合わせたブラックボックスステガナリシス検出器を構築した。
  論文  参考訳（メタデータ） (2026-08-03T13:00:25Z)
• Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents [5.91817208489443]
  検証・受け入れ・デプロイのギャップについて検討する。 このギャップは、エージェントの自己承認された検証信号と封印されたデプロイメント評価との相違を指す。 シーリング型外因性受容ループ(SEAL)について紹介する。
  論文  参考訳（メタデータ） (2026-07-27T11:45:14Z)
• Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
  最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。 2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。 我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
  論文  参考訳（メタデータ） (2026-06-01T10:50:26Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• ExComm: Exploration-Stage Communication for Error-Resilient Agentic Test-Time Scaling [57.42714978834704]
  ExCommは、探索段階のエージェントテストタイムスケーリングのための通信プロトコルである。 ExCommは、強いテスト時間スケーリングベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-21T07:38:44Z)
• Affordance Agent Harness: Verification-Gated Skill Orchestration [45.231685718099264]
  Affordance groundingは、オープンワールドのシーンでエージェントがどこでどのように対話すべきかを特定する必要がある。 本稿では,エビデンスストアとコストコントロールを備えたクローズドループランタイムであるAffordance Agent Harnessを提案する。
  論文  参考訳（メタデータ） (2026-05-01T13:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。