論文の概要: REDACT: A Systematically Controlled Multilingual Benchmark for Personal Information Detection
- arxiv url: http://arxiv.org/abs/2606.19881v1
- Date: Thu, 18 Jun 2026 07:38:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-19 18:23:39.703372
- Title: REDACT: A Systematically Controlled Multilingual Benchmark for Personal Information Detection
- Title（参考訳）: REDACT: 個人情報検出のためのシステム制御型多言語ベンチマーク
- Authors: Guneesh Vats, Anubha Agrawal, Shikha Singhal, Ajita Dash, Praison Selvaraj, Vidhan Jhawar, Ranga Prasad Chenna, Bharadwaj Y M G,
- Abstract要約: 13,427のレコード、324,078のエンティティアノテーション、51のエンティティタイプ、4,127のサーフェスフォームパターン、9つのスクリプトに25の言語があるPIIベンチマークであるREDACTを提示する。
強度2被覆アレイサンプリング器は、ドメイン、フォーマット、難易度、長さ、密度、コードスイッチング、言語、隣接性、共起の9つの世代軸を制御する。
全ベンチマークから、1000レコードのロックされた言語階層化サンプル上で、5つの検出器(Presidio, GLiNER, OpenAI Privacy Filter, GPT-4.1, Claude Sonnet 4.6)を評価する。
- 参考スコア（独自算出の注目度）: 0.2529563359433233
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Benchmark infrastructure for personally identifiable information (PII) detection remains limited: existing corpora cover few entity types, use ad hoc generation conditions, and do not show which surface conditions cause detector failures. We present REDACT, a systematically controlled multilingual PII benchmark with 13,427 records, 324,078 entity annotations, 51 entity types, 4,127 surface-form patterns, and 25 languages across 9 scripts. A strength-2 covering-array sampler controls nine generation axes: domain, format, difficulty, length, density, code-switching, language, adjacency, and co-occurrence. Three entity-level metadata fields (disclosure status, disclosure form, and a GDPR-aligned sensitivity tier) enable stratified evaluation beyond aggregate or per-type F1. From the full benchmark, we evaluate five detectors (Presidio, GLiNER, the OpenAI Privacy Filter, GPT-4.1, and Claude Sonnet 4.6) on a locked, language-stratified sample of 1,000 records. Aggregate F1 masks an architecture-dependent failure structure: the rule-based detector performs poorly on the highest-stakes data, including HIGH-sensitivity categories (recall 0.07) and non-verbatim disclosure forms, while the LLM detectors remain more robust, with the HIGH tier as their strongest sensitivity slice. A three-model reference-free LLM-as-judge assessment corroborates that sensitivity-tier assignment is the task's hardest axis. We release the benchmark, schema, prompts, and stratified evaluation harness.
- Abstract（参考訳）: 個人識別可能な情報(PII)検出のためのベンチマークインフラストラクチャは、いくつかのエンティティタイプをカバーし、アドホック生成条件を使用し、どの表面条件が検出障害を引き起こすかは示さない。
13,427のレコード,324,078のエンティティアノテーション,51のエンティティ型,4,127のサーフェスフォームパターン,9スクリプトにわたる25の言語を備えた,体系的に制御された多言語PIIベンチマークであるREDACTを提案する。
強度2被覆アレイサンプリング器は、ドメイン、フォーマット、難易度、長さ、密度、コードスイッチング、言語、隣接性、共起の9つの世代軸を制御する。
エンティティレベルの3つのメタデータフィールド(開示状態、開示フォーム、GDPR対応の感度層)は、集約またはF1単位を超えて階層化された評価を可能にする。
全ベンチマークから、1000レコードのロックされた言語階層化されたサンプルに対して、5つの検出器(Presidio、GLiNER、OpenAI Privacy Filter、GPT-4.1、Claude Sonnet 4.6)を評価する。
規則に基づく検出器は、高感度のカテゴリ(0.07)や非バーバティマスの開示形式を含む最高値のデータに対して、低レベルを最強の感度スライスとして、LLM検出器はより堅牢なままである。
3モデル参照のないLCM-as-judgeアセスメントは、感度層割り当てがタスクの最も難しい軸であることを裏付ける。
ベンチマーク、スキーマ、プロンプト、階層化された評価ハーネスをリリースします。
関連論文リスト
- DetectRL-X: Towards Reliable Multilingual and Real-World LLM-Generated Text Detection [68.92080038934164]
本研究では8次元の先進検出器を評価するためのベンチマークであるTreatorRL-Xを紹介する。
このベンチマークは、商業的文脈で一般的に使用される8つの言語を含み、誤用を受けやすい6つのドメインから人書きのテキストを収集する。
論文 参考訳（メタデータ） (2026-05-15T01:29:26Z) - Beyond Fixed Benchmarks and Worst-Case Attacks: Dynamic Boundary Evaluation for Language Models [20.61766907174782]
本稿では,動的境界評価(DBE)を提案する。これは各モデルの境界を積極的に把握し,グローバルに匹敵する難易度尺度に配置する。
DBEは、3つのアーティファクトを提供する: (i) 安全性、能力、真実性をカバーした校正項目銀行で、9ドルの基準LCMで検証された難易度ラベル付きで、 (ii) スキルガイド境界探索(SGBS)、 (ii) APIレベルクエリアクセスのみを使用して、所定のターゲットLSMの境界項目を見つける検索アルゴリズム、 (iii) 新しいLCMを統一能力尺度に配置し、ターゲットが外に落ちたときに適応的に評価セットを拡大する評価プロトコル。
論文 参考訳（メタデータ） (2026-05-07T13:15:31Z) - Why AI-Generated Text Detection Fails: Evidence from Explainable AI Beyond Benchmark Accuracy [0.9169660430821364]
本稿では,言語機能工学,機械学習,説明可能なAI技術を統合するフレームワークを提案する。
SHAPに基づく説明を用いて、最も影響力のある特徴がデータセットによって著しく異なることを示す。
この知識は、さまざまな設定で堅牢なAI検出器を構築するのに役立ちます。
論文 参考訳（メタデータ） (2026-03-24T12:46:15Z) - One Battle After Another: Probing LLMs' Limits on Multi-Turn Instruction Following with a Benchmark Evolving Framework [51.50565654314582]
大規模言語モデルは、複数のトピックにまたがる対話を通して、ユーザの指示に従うことができる。
既存のベンチマークは、しばしば一定回数のターンに制限されるため、飽和の影響を受けにくく、ユーザのインタラクティブなエクスペリエンスを考慮できない。
マルチターン命令追従能力を評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-05T14:39:59Z) - Large Language Models Versus Static Code Analysis Tools: A Systematic Benchmark for Vulnerability Detection [0.0]
業界標準の3つの静的コード分析ツール(Sonar、CodeQL、Snyk Code)と、GitHub Modelsプラットフォーム(GPT-4.1、Mistral Large、DeepSeek V3)にホストされた最先端の3つの大規模言語モデルを評価した。
63の脆弱性を埋め込んだ10の現実世界のC#プロジェクトのキュレートされたスイートを使用して、古典的な精度(精度、リコール、Fスコア)、分析のレイテンシ、粒度、真の肯定性を検証するために必要な開発者の労力を測定します。
開発初期段階の言語モデルを採用して、広義のコンテキスト認識検出と検出を行う、ハイブリッドパイプラインを推奨します。
論文 参考訳（メタデータ） (2025-08-06T13:48:38Z) - The NordDRG AI Benchmark for Large Language Models [0.0]
NordDRG-AI-Benchmarkは、DRG推論のための最初の公開、ルール完全テストベッドである。
Grouper Softwareは、診断関連グループ(DRGs)を通じて、数十億ドルの医療費の大部分をルートする。
これは、ガバナンスグレードのトレーサビリティを備えた完全なNordDRGグルーパーロジックをエミュレートする最初の公開レポートである。
論文 参考訳（メタデータ） (2025-06-11T11:40:11Z) - SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。
手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。
このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
論文 参考訳（メタデータ） (2024-10-14T21:17:22Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。
まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文 参考訳（メタデータ） (2024-06-20T17:56:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。