論文の概要: Redacting Personal Data: A Speed and Accuracy Comparison of Regex, Presidio and Hybrid Designs
- arxiv url: http://arxiv.org/abs/2611.07633v1
- Date: Thu, 05 Nov 2026 08:18:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.596866
- Title: Redacting Personal Data: A Speed and Accuracy Comparison of Regex, Presidio and Hybrid Designs
- Title(参考訳): パーソナルデータの再実行:Regex、Presidio、Hybridデザインの速度と精度の比較
- Abstract要約: 本稿では,LLMパイプラインが適用可能な4つのリアクション設計を比較した。
レグレックスは0.20msで走るが、PIIの88.9%しか捉えていない。
プレシディオ、ハイブリッド、高速ハイブリッドはそれぞれPIIの100%を獲得し、ビジネス用語の100%を保持した。
- 参考スコア(独自算出の注目度): 1.1328117084617384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many enterprise projects now pass free text to large language models (LLMs), and that text often contains personally identifiable information (PII) such as names, phone numbers, email addresses, home addresses and dates of birth. Once a prompt is sent, this data is copied into provider systems, application logs and observability traces. Redacting PII before the call is an obvious control, yet teams seldom have numbers on what it costs in latency or what it lets through. This paper compares four redaction designs that any LLM pipeline can adopt: a pure regular-expression (regex) redactor, Microsoft Presidio running on a spaCy model, a hybrid in which Presidio finds only person names while regex handles structured identifiers, and a fast hybrid that calls spaCy's named-entity component directly. All four share a known-entity rule, which removes the person the system already knows it is handling, and a consistent placeholder scheme, so the LLM can still tell one person from another after redaction. We evaluate the designs on a sample workflow, which we call ProfileAssist, that turns resumes into structured profiles, using 100 synthetic resumes (523 characters on average, with 900 PII values and 600 business terms that must survive). Regex ran at a 0.20 ms median but caught only 88.9% of PII, because it cannot find names that are not known in advance, such as the references listed in a resume. Presidio, hybrid and fast hybrid each caught 100% of PII and kept 100% of business terms, at median latencies of 37.59 ms, 30.23 ms and 13.48 ms. Measured against a 9,120 ms median LLM call, even the slowest option adds only 0.41% to the request. We therefore recommend the fast hybrid as a default for LLM pipelines that handle personal data, with regex kept as a safety net rather than as the only control.
- Abstract(参考訳): 多くのエンタープライズプロジェクトは、現在、無料のテキストを大きな言語モデル(LLM)に渡しており、そのテキストには、名前、電話番号、メールアドレス、住所、生年月日などの個人識別可能な情報(PII)がしばしば含まれている。
プロンプトが送信されると、このデータはプロバイダシステム、アプリケーションログ、可観測性トレースにコピーされる。
呼び出し前のPIIを再実行することは明らかなコントロールですが、レイテンシや処理に要するコストに関する数字はめったにありません。
本稿では,LLMパイプラインが採用可能な4つのリアクション設計について比較する。純粋な正規表現(regex)リダクタ,paCyモデル上で動作しているMicrosoft Presidio,regexが構造化識別子を処理している間に人名のみを検出するハイブリッド,paCyの匿名コンポーネントを直接呼び出す高速ハイブリッドである。
4つのルールは、システムがすでに処理していることを知っている人を排除し、一貫したプレースホルダースキームを共有する。
ProfileAssistと呼ばれるサンプルワークフローの設計を評価し、100の合成履歴書(平均523文字、900のPII値、600のビジネス用語で生き残らなければならない)を使用して履歴書を構造化プロファイルに変換する。
レグレックスは0.20msの中央値で走ったが、履歴書に記載されている参照など、事前に知られていない名前が見つからないため、PIIの88.9%しかキャッチできなかった。
プレシディオ、ハイブリッド、高速ハイブリッドのそれぞれがPIIの100%を占め、ビジネス用語の100%を中央値37.59ms、30.23ms、13.48msで維持した。
従って私たちは,個人データを処理するLLMパイプラインのデフォルトとして,高速ハイブリッドを推奨しています。
関連論文リスト
- HARP: Training-Free Dual-Profile Agentic Communication for LLM-Based Recommendation [19.137086213178815]
我々は,LSMをベースとした勧告をエージェントコミュニケーションのプロセスとして4段階に分けて再検討した。
HARP (Homophily-aware Agentic Recommendation via dual Profiles) として機能する。
HarPはHit@1を6.9%-24.0%引き上げる。
論文 参考訳(メタデータ) (2026-11-03T18:24:20Z) - Character-Name Concentration in LLM Fiction: Measuring Displacement and Mitigating Repetition [41.99844472131922]
本研究では,8つの戦略にまたがる名称集中制御の実証的研究を行い,投機的命名を導入した。
テキストと視覚刺激(88,919字)から4言語で44,782語を生成する。
リストフリー衝突計(Slop Ratio, SR)を用いて, 既知成分と創発成分に分解した濃度を測定した。
論文 参考訳(メタデータ) (2026-10-31T21:36:29Z) - Measure Before You Train: Typed Decision Models vs. a Classical Baseline vs. a Generative LLM for Routing a Personal Multilingual Inbox [0.0]
個人メールエージェントは、メッセージごとに、それが何であるか、緊急かどうか、返信の起草、タスクの作成、無視かを判断する。
本稿では、セルフホスト型の個人用受信箱エージェントであるFoyerについて紹介する。
論文 参考訳(メタデータ) (2026-10-23T17:49:43Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳(メタデータ) (2026-09-16T04:00:54Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳(メタデータ) (2026-09-02T08:10:22Z) - No PUN Intended: Plausible Unknown Names for Person-Centred LLM Evaluation [2.2940141855172036]
未知の名前を、もっともらしいファーストラスト形式として運用する。
PUN(Plausible Unknown Names)は、これらの名前の構築と検証のためのプロトコルである。
本報告では, 受入率, 退院率, 204人を対象にした研究を報告する。
論文 参考訳(メタデータ) (2026-08-21T15:20:37Z) - Large-scale online deanonymization with LLMs [58.46277616551135]
大規模なデ匿名化を実現するために,大規模言語モデルを用いることができることを示す。
当社のエージェントは、完全なインターネットアクセスによって、Hacker NewsユーザーとHistropic Interviewer参加者を高精度に識別することができる。
論文 参考訳(メタデータ) (2026-02-18T19:02:50Z) - Can Large Language Models Really Recognize Your Name? [23.4365383606717]
現代大規模言語モデル(LLM)は、曖昧な文脈のため、短いテキストスニペットでも定期的に人名を見落としている。
AMBENCHは、明らかに不明瞭な人物名のベンチマークデータセットである。
論文 参考訳(メタデータ) (2025-05-20T16:05:05Z) - BooookScore: A systematic exploration of book-length summarization in the era of LLMs [53.42917858142565]
我々は,識別されたエラータイプを一切含まない要約文の割合を計測する自動測度BooookScoreを開発した。
GPT-4 や 2 のようなクローズドソース LLM は,オープンソースモデルよりも BooookScore の高いサマリーを生成することがわかった。
論文 参考訳(メタデータ) (2023-10-01T20:46:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。