論文の概要: A Red Teaming Framework for Large Language Models: A Case Study on Faithfulness Evaluation

• arxiv url: http://arxiv.org/abs/2606.25476v1
• Date: Wed, 24 Jun 2026 07:00:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.252266
• Title: A Red Teaming Framework for Large Language Models: A Case Study on Faithfulness Evaluation
• Title（参考訳）: 大規模言語モデルのためのレッド・チーム・フレームワーク:忠実度評価のケーススタディ
• Abstract要約: 大規模言語モデル(LLM)の脆弱性を体系的に発見するフレームワークを提案する。 我々のアプローチでは、ターゲット、攻撃者、陪審員モデルからなる新しいマルチロールアーキテクチャを採用している。 爆発的な対抗策によって攻撃の成功率は7.9%まで増加し、信頼性の弱点が明らかになった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable performance across natural language processing tasks, yet their deployment in high-stakes applications raises critical concerns regarding reliability, safety, and trustworthiness. In this paper, we present a red teaming framework that systematically uncovers vulnerabilities in LLM outputs. Our approach employs a novel multi-role architecture comprising target, attacker, and jury models. The attackers generate increasingly effective adversarial prompts while the jury rigorously evaluates response accuracy and consistency across tasks. In a case study, our strategy proved particularly effective at exposing unfaithfulness in LLM responses. Exploitative adversarial prompts increased the attack success rate by up to 7.9% in question-answering tasks, revealing weaknesses in reliability. The approach identifies how structural constraints in summarization can shape vulnerability patterns, with format limitations yielding measurable gains in faithfulness, and shows that architectural design choices typically outweigh parameter scaling in determining model safety. The framework's key strength is its adaptability across evaluation tasks, from English question-answering to Arabic summarization, enabling comprehensive comparison of model vulnerabilities. While it excels at comparing cross-model and cross-linguistic vulnerabilities, it faces challenges in fully automating adversarial prompt generation across languages. Our experiments also reveal limitations in detecting subtle forms of unfaithfulness that do not manifest as explicit factual contradictions, particularly across linguistic contexts. Overall, this architecture provides both actionable insights into current LLM vulnerabilities and a scalable methodology for ongoing safety evaluation as models evolve.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理タスク全体において顕著なパフォーマンスを示しているが、高いスループットのアプリケーションへの展開は、信頼性、安全性、信頼性に関する重要な懸念を提起している。 本稿では,LLM出力の脆弱性を系統的に発見するレッド・チームリング・フレームワークを提案する。 我々のアプローチでは、ターゲット、攻撃者、陪審員モデルからなる新しいマルチロールアーキテクチャを採用している。 攻撃者はますます効果的な敵のプロンプトを生成し、陪審員はタスク間の応答精度と一貫性を厳格に評価する。 症例スタディでは,LSM反応における不信感の露呈に特に有効であることが判明した。 爆発的な対抗策によって攻撃の成功率は7.9%まで増加し、信頼性の弱点が明らかになった。 このアプローチは、要約における構造的制約がどのように脆弱性パターンを形成するかを特定し、フォーマットの制限は忠実さにおいて測定可能な利得をもたらし、設計上の選択がモデル安全性を決定する際のパラメータスケーリングよりも優れていることを示す。 フレームワークの主な強みは、英語の質問回答からアラビア語の要約まで、評価タスクへの適応性であり、モデル脆弱性の包括的な比較を可能にする。 クロスモデルとクロス言語的脆弱性を比較するのに優れていますが、言語間での敵の即時生成を完全に自動化する上で、課題に直面しています。 我々の実験は、特に言語的文脈において、明示的な事実矛盾として現れない微妙な不誠実な形態を検出する際の限界も明らかにしている。 全体として、このアーキテクチャは現在のLLM脆弱性に対する実行可能な洞察と、モデルの発展に伴って進行中の安全性評価のためのスケーラブルな方法論の両方を提供する。

関連論文リスト

• Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming [64.48633529149579]
  本稿では,VLA(Vision-Language-Action)モデルの言語的変異に対する脆弱性を明らかにするための新しいフレームワークを提案する。 本手法は, ストレス試験用VLAエージェントへのスケーラブルなアプローチを示すため, 平均作業成功率を93.33%から5.85%に下げる。
  論文  参考訳（メタデータ） (2026-04-07T08:43:36Z)
• Context-Aware Hierarchical Learning: A Two-Step Paradigm towards Safer LLMs [38.3239023969819]
  大きな言語モデル(LLM)は多様なアプリケーションのための強力なツールとして登場した。 ツール・コンプリート・アタック(TCA)と呼ばれる新しい種類の脆弱性を特定し,提案する。 これらの脆弱性に対処するために、コンテキスト認識階層学習(CAHL)を導入します。
  論文  参考訳（メタデータ） (2025-12-03T12:10:21Z)
• ROSE: Toward Reality-Oriented Safety Evaluation of Large Language Models [60.28667314609623]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにおいてブラックボックスコンポーネントとしてますます多くデプロイされている。 我々は,多目的強化学習を用いて敵のLDMを微調整する新しいフレームワークであるReal-Oriented Safety Evaluation (ROSE)を提案する。
  論文  参考訳（メタデータ） (2025-06-17T10:55:17Z)
• Benchmarking Adversarial Robustness to Bias Elicitation in Large Language Models: Scalable Automated Assessment with LLM-as-a-Judge [1.1666234644810893]
  小さなモデルは安全性においてより大きなモデルよりも優れており、トレーニングとアーキテクチャがスケール以上の意味を持つ可能性があることを示唆している。 低リソース言語を使ったジェイルブレイク攻撃や拒否抑制が効果的であるなど、敵の誘惑に対して完全に堅牢なモデルはない。
  論文  参考訳（メタデータ） (2025-04-10T16:00:59Z)
• MIRAGE: Multimodal Immersive Reasoning and Guided Exploration for Red-Team Jailbreak Attacks [85.3303135160762]
  MIRAGEは、物語駆動型コンテキストとロール没入を利用して、マルチモーダル大規模言語モデルにおける安全性メカニズムを回避する新しいフレームワークである。 最先端のパフォーマンスを達成し、最高のベースラインよりも攻撃成功率を最大17.5%向上させる。 役割の浸漬と構造的セマンティック再構築は、モデル固有のバイアスを活性化し、モデルが倫理的保護に自発的に違反することを実証する。
  論文  参考訳（メタデータ） (2025-03-24T20:38:42Z)
• FaithEval: Can Your Language Model Stay Faithful to Context, Even If "The Moon is Made of Marshmallows" [74.7488607599921]
  FaithEvalは、コンテキストシナリオにおける大規模言語モデル(LLM)の忠実度を評価するためのベンチマークである。 FaithEvalは4.9Kの高品質な問題で構成され、厳格な4段階のコンテキスト構築と検証フレームワークを通じて検証されている。 我々の研究は、最先端のモデルでさえ、与えられた文脈に忠実であり続けるのに苦労することが多く、大きなモデルが必ずしも改善された忠実を示すとは限らないことを明らかにしている。
  論文  参考訳（メタデータ） (2024-09-30T06:27:53Z)
• garak: A Framework for Security Probing Large Language Models [16.305837349514505]
  garakは、ターゲットとするLarge Language Models(LLM)の脆弱性を発見し、特定するために使用できるフレームワークである。 フレームワークのアウトプットは、ターゲットモデルの弱点を記述し、ユニークなコンテキストで脆弱性を構成するものについての情報的な議論に寄与する。
  論文  参考訳（メタデータ） (2024-06-16T18:18:43Z)
• Assessing Adversarial Robustness of Large Language Models: An Empirical Study [24.271839264950387]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、敵の攻撃に対する頑強さは依然として重要な問題である。 Llama, OPT, T5 など,主要なオープンソース LLM の脆弱性を露呈する,新しいホワイトボックス型攻撃手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:00:28Z)
• SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
  SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。 それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
  論文  参考訳（メタデータ） (2024-02-07T17:33:54Z)
• Data Poisoning for In-context Learning [49.77204165250528]
  In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。 本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。 ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
  論文  参考訳（メタデータ） (2024-02-03T14:20:20Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。