論文の概要: PrivacyEvalClaw: A Tool-Augmented Deliberative Agent for Auditing Privacy Leakage in LLM Jailbreak Responses
- arxiv url: http://arxiv.org/abs/2610.36711v1
- Date: Tue, 27 Oct 2026 06:27:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.237392
- Title: PrivacyEvalClaw: A Tool-Augmented Deliberative Agent for Auditing Privacy Leakage in LLM Jailbreak Responses
- Title（参考訳）: プライバシEvalClaw: LLMジェイルブレイク応答におけるプライバシ漏洩を監査するためのツール拡張型検討エージェント
- Abstract要約: 本稿では,ジェイルブレイク応答におけるプライバシー漏洩を評価するためのトレーニング不要な検討エージェントであるtextscPrivacyEvalClawを紹介する。
プライバシEvalClawは、独立した単一パスの判断に頼るのではなく、評価器と分析モジュールをツールとして扱い、証拠を適応的に収集し、不確実な開示を調査し、最終的な判断を下す前に競合する信号を和解する。
- 参考スコア（独自算出の注目度）: 14.970927800143484
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliable evaluation is a critical bottleneck in privacy red-teaming of large language models (LLMs): determining whether a jailbreak response actually reveals personal information can be difficult when disclosures are indirect, contextual, partial, or obfuscated. Existing evaluation approaches increasingly rely on guard models and LLM-as-Judges, yet these evaluators may interpret the same response differently. To better characterize this evaluation setting, we conduct a systematic study of privacy evaluators and find substantial disagreement, particularly in ambiguous cases that require additional evidence or targeted analysis to resolve. Motivated by these findings, we introduce \textsc{PrivacyEvalClaw}, a training-free deliberative agent for evaluating privacy leakage in LLM jailbreak responses. Rather than relying on isolated single-pass judgments, PrivacyEvalClaw treats evaluators and analysis modules as tools, adaptively gathers evidence, investigates uncertain disclosures, and reconciles conflicting signals before producing a final judgment. Our primary experiments use pairwise LLM-as-Judge evaluation of complete trajectories, showing that PrivacyEvalClaw achieves favorable win rates against competing baselines across outcome, process, and overall quality, while producing explicit reasoning traces that make the evaluation process more transparent and auditable.
- Abstract（参考訳）: 大規模言語モデル(LLM)のプライバシ再チームにおいて、信頼性評価は重要なボトルネックである。情報開示が間接的、文脈的、部分的、あるいは難読化された場合に、ジェイルブレイク応答が実際に個人情報を暴露するかどうかを決定する。
既存の評価手法はガードモデルとLCM-as-Judgesに依存している。
この評価設定をより正確に評価するために、我々はプライバシー評価の体系的な研究を行い、特に、追加の証拠を必要とする曖昧なケースや解決すべき対象分析において、かなりの意見の相違を見出した。
これらの知見に触発され, LLM脱獄反応のプライバシー漏洩を評価するためのトレーニング不要な検討エージェントであるtextsc{PrivacyEvalClaw} を導入した。
プライバシEvalClawは、独立した単一パスの判断に頼るのではなく、評価器と分析モジュールをツールとして扱い、証拠を適応的に収集し、不確実な開示を調査し、最終的な判断を下す前に競合する信号を和解する。
第一実験では, 完全軌道のLLM-as-Judge評価を併用し, 結果, プロセス, 全体品質の競合するベースラインに対して, 良好な勝利率を達成するとともに, 評価プロセスの透明性と監査性を高めるための明確な推論トレースを生成する。
関連論文リスト
- Contextual Candour: Role-Aware Graduated Disclosure for LLMs over Mixed-Sensitivity Contexts [4.132410100662295]
LLMは混合感度のコンテキスト上で動作し、公開から機密まで多岐にわたる情報を推論する必要がある。
本稿では,モデルの応答における詳細度と感度のレベルを,ユーザの承認に応じて調整するアクセス制御式である,段階的情報開示を導入する。
企業および臨床ベンチマークに対する我々のアプローチを評価し、それをプロンプトベース、ゲーティング、教師付きベースラインと比較する。
論文 参考訳（メタデータ） (2026-10-20T11:50:25Z) - AURA: Adaptive Uncertainty-aware Refinement for LLM-as-a-Judge Auditing [5.259890149301948]
本稿では,ペアワイドな言語モデルを監査するための適応的不確実性を考慮した改良フレームワークであるAURAを提案する。
AURAは、人間の一貫性のシグナルを反復的に学習し、信頼できる証拠を伝播し、不確実な比較を人間のレビューに優先する。
我々は, コンパクトな定式化, 安定な精錬手順, および合成および実対LLM-Awerデータの包括的評価を行う。
論文 参考訳（メタデータ） (2026-06-18T02:26:05Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - It Takes Two: Complementary Self-Distillation for Contextual Integrity in LLMs [73.46918128880786]
タスク解決から情報抑制を分離する自己蒸留フレームワーク。
タスク解決から情報抑制を分離する自己蒸留フレームワーク。
論文 参考訳（メタデータ） (2026-05-18T13:57:44Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - NeuroFilter: Privacy Guardrails for Conversational LLM Agents [50.75206727081996]
本研究は,エージェント型大規模言語モデル(LLM)のプライバシを強制する際の計算上の課題に対処する。
NeuroFilterは、標準違反をモデルのアクティベーション空間における単純な方向にマッピングすることで、コンテキスト整合性を運用するガードレールフレームワークである。
7Bから70Bパラメータのモデルをカバーする15万以上のインタラクションに対する包括的な評価は、NeuroFilterの強力なパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-01-21T05:16:50Z) - Beyond Verification: Abductive Explanations for Post-AI Assessment of Privacy Leakage [4.6453787256723365]
帰納的説明を用いてプライバシー漏洩を監査するための形式的枠組みを提案する。
我々のフレームワークは個人レベルのリークとシステムレベルのリークの両方を形式化する。
このアプローチは、人間の理解可能な説明を生み出しながら、厳格なプライバシー保証を提供する。
論文 参考訳（メタデータ） (2025-11-13T13:14:24Z) - Beyond Jailbreaking: Auditing Contextual Privacy in LLM Agents [43.303548143175256]
本研究では,リスクに対するエージェントの感受性を定量的に評価する,会話プライバシのための監査フレームワークを提案する。
CMPL(Conversational Manipulation for Privacy Leakage)フレームワークは、厳格なプライバシー命令を強制するエージェントをストレステストするために設計されている。
論文 参考訳（メタデータ） (2025-06-11T20:47:37Z) - LLM-Safety Evaluations Lack Robustness [58.334290876531036]
我々は、大規模言語モデルに対する現在の安全アライメント研究は、多くのノイズ源によって妨げられていると論じる。
本研究では,将来の攻撃・防衛用紙の評価において,ノイズやバイアスを低減させる一連のガイドラインを提案する。
論文 参考訳（メタデータ） (2025-03-04T12:55:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。