論文の概要: Mind the Gap: Robustness Risks in PII Detection Systems

• arxiv url: http://arxiv.org/abs/2609.03464v1
• Date: Thu, 03 Sep 2026 07:23:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.967884
• Title: Mind the Gap: Robustness Risks in PII Detection Systems
• Title（参考訳）: マインド・ザ・ギャップ:PII検出システムにおけるロバスト性リスク
• Authors: Adeel Zafar, Slawomir Nowaczyk,
• Abstract要約: 我々は,ノイズ,非構造,非公式な入力の下で,異なるPII検出パラダイムがどのように失敗するかを検討する。 単一のアーキテクチャは、PIIカテゴリ全体で一様に信頼性がない。 これらの知見に触発されて,反復的リスク軽減のためのQA駆動フィードバックループを用いたハイブリッド検出パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 6.167318681955322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personally Identifiable Information (PII) detection is a foundational component of data protection infrastructure where missed entities constitute direct privacy and security risks. Although modern PII systems report strong performance on standard benchmarks, we show that these evaluations mask substantial robustness failures under realistic distribution shifts encountered in deployment. Rather than comparing state-of-the-art accuracy, we study how different PII detection paradigms fail under noisy, unstructured, and informal inputs. We construct a stress test benchmark spanning seven categories of natural distribution shift and evaluate representative systems from three widely deployed architectural families: encoder-based NER (SpaCy), rule-based hybrid detection (Presidio), and generative LLM extraction (Qwen2.5-3B). All three exhibit significant degradation on out-of-distribution inputs, but with distinct and complementary failure modes. Encoder models primarily fail on unseen surface forms and boundary detection, rule-based systems fail on non-standard formats, and LLMs exhibit entity-type confusion and generation instability. These results show that aggregate benchmark scores obscure deployment-critical weaknesses and that no single architecture is uniformly reliable across PII categories. Motivated by these findings, we propose a hybrid detection pipeline with a QA-driven feedback loop for iterative risk mitigation, and release our benchmark to support OOD-aware evaluation of PII systems.
• Abstract（参考訳）: 個人識別可能な情報(PII)検出は、ミスしたエンティティが直接のプライバシとセキュリティリスクを構成するデータ保護インフラストラクチャの基本コンポーネントである。 現代のPIIシステムでは,標準ベンチマークでは高い性能が報告されているが,これらの評価は,実際の分散シフト下での相当な堅牢性障害を隠蔽していることを示す。 我々は、最先端の精度を比較するのではなく、ノイズ、非構造、非公式な入力の下で異なるPII検出パラダイムがどのように失敗するかを研究する。 本研究では,自然分布シフトの7つのカテゴリにまたがるストレステストベンチマークを構築し,エンコーダベースNER(SpaCy),ルールベースハイブリッド検出(Presidio),生成LDM抽出(Qwen2.5-3B)という,広く展開されている3つのアーキテクチャファミリーからの代表システムを評価する。 これら3つは、アウト・オブ・ディストリビューション・インプットに顕著な劣化を示すが、相補的な障害モードがある。 エンコーダモデルは、主に目に見えない表面形状と境界検出で失敗し、ルールベースのシステムは非標準フォーマットで失敗し、LCMはエンティティタイプの混乱と生成不安定を示す。 これらの結果は,集合ベンチマークがデプロイメントクリティカルな弱点を曖昧にし,PIIカテゴリ全体にわたって単一アーキテクチャが一様信頼できないことを示している。 これらの知見に触発されて,反復的リスク軽減のためのQA駆動フィードバックループを備えたハイブリッド検出パイプラインを提案し,PIIシステムのOOD認識評価を支援するためにベンチマークをリリースする。

関連論文リスト

• Towards Diverse and Comprehensive Benchmarks for Mutual Information Estimation [47.29900218955283]
  相互情報推定は、機械学習と統計学における中心的な問題である。 既存のベンチマークでは、単純化された低次元分布上の推定器を評価し、複雑な現実的なデータに対する性能はほとんど探索されていない。 我々はこのギャップを、統一されたコプラ理論の観点から、包括的なベンチマークフレームワークで解決する。
  論文  参考訳（メタデータ） (2026-07-03T16:55:55Z)
• I-GLIDE: Input Groups for Latent Health Indicators in Degradation Estimation [1.034052616244602]
  本稿では, 健康指標構築のための新しい枠組みを紹介し, 3つの重要な貢献を推し進める。 我々は、RUL予測の健康指標(HI)としてプロジェクテッドパスウェイ(RaPP)に沿ってレコンストラクションを適応し、従来のリコンストラクションエラー指標よりも優れていることを示す。 また,センササブセットを分離してシステム固有の劣化をモデル化する手法であるインジケータグループを提案し,新しい手法であるI-GLIDEを提案する。
  論文  参考訳（メタデータ） (2025-11-26T09:39:35Z)
• Benchmarking Corruption Robustness of LVLMs: A Discriminative Benchmark and Robustness Alignment Metric [49.393713730706445]
  汚損の堅牢性を評価するための識別サンプルを強調したベンチマークであるBench-Cを紹介する。 本稿では,ロバストネスアライメントスコア(RAS)を提案する。
  論文  参考訳（メタデータ） (2025-11-24T12:07:56Z)
• Continual Action Quality Assessment via Adaptive Manifold-Aligned Graph Regularization [53.82400605816587]
  アクション品質アセスメント(AQA)は、ビデオにおける人間の行動を定量化し、スポーツスコアリング、リハビリテーション、スキル評価の応用を支援する。 大きな課題は、現実世界のシナリオにおける品質分布の非定常的な性質にある。 本稿では,進化する分布を扱うための連続学習機能を備えた連続AQA(Continuous AQA)を紹介する。
  論文  参考訳（メタデータ） (2025-10-08T10:09:47Z)
• Fair Deepfake Detectors Can Generalize [51.21167546843708]
  共同設立者(データ分散とモデルキャパシティ)の制御により,公正な介入による一般化が向上することを示す。 この知見を応用して, 逆正当性重み付けとサブグループワイド特徴正規化を併用し, 新たなアライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・インセンティブ・インターベンション・インベンション・インテクション(DAID)を提案する。 DAIDは、いくつかの最先端技術と比較して、公平性と一般化の両方において一貫して優れた性能を達成する
  論文  参考訳（メタデータ） (2025-07-03T14:10:02Z)
• Prior2Former -- Evidential Modeling of Mask Transformers for Assumption-Free Open-World Panoptic Segmentation [74.55677741919035]
  顕在学習に根ざしたセグメンテーション・ビジョン・トランスフォーマの最初のアプローチである Prefer2Former (P2F) を提案する。 P2Fは、ピクセル単位のバイナリマスク割り当てにおいて、モデル不確実性を計算するためのベータを組み込むことで、マスクビジョントランスフォーマーアーキテクチャを拡張している。 未知のクラスに対処するほとんどのセグメンテーションモデルとは異なり、P2FはOODデータサンプルへのアクセスや、ヴォイド(ラベルなし)クラスに対する対照的なトレーニングなしで動作する。
  論文  参考訳（メタデータ） (2025-04-07T08:53:14Z)
• BELLS: A Framework Towards Future Proof Benchmarks for the Evaluation of LLM Safeguards [43.86118338226387]
  LLMセーフガード評価ベンチマーク(BELLS)について紹介する。 BELLSは構造化されたテストのコレクションで、確立された障害テスト、新しい障害テスト、次世代アーキテクチャテストの3つのカテゴリに分けられる。 私たちは、データセットのインタラクティブな可視化とともに、MACHIAVELLI環境を使用して、最初の次世代アーキテクチャテストを実装し、共有します。
  論文  参考訳（メタデータ） (2024-06-03T14:32:30Z)
• Exploring the Relationship between Samples and Masks for Robust Defect Localization [1.90365714903665]
  本稿では,モデルプロセスなしで欠陥パターンを直接検出する一段階フレームワークを提案する。 欠陥の位置を示す可能性のある明示的な情報は、直接マッピングを学ぶことを避けるために意図的に除外される。 その結果,提案手法はF1-ScoreのSOTA法よりも2.9%高い値を示した。
  論文  参考訳（メタデータ） (2023-06-19T06:41:19Z)
• Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
  本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。 提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
  論文  参考訳（メタデータ） (2023-01-17T01:46:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。