論文の概要: PII-TRACE: A Benchmark for Context-Aware PII Detection in Multi-Turn LLM Conversations

• arxiv url: http://arxiv.org/abs/2609.22200v1
• Date: Mon, 31 Aug 2026 14:22:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.769369
• Title: PII-TRACE: A Benchmark for Context-Aware PII Detection in Multi-Turn LLM Conversations
• Title（参考訳）: PII-TRACE:マルチTurn LLM会話における文脈認識型PII検出ベンチマーク
• Abstract要約: PII-TRACEは、検出器が会話の文脈でPIIを識別するかどうかを評価する最初のPIIベンチマークである。 PII-Tracerは、評価したシステムの中で、最もエンティティレベルのカバレッジを達成します。
• 参考スコア（独自算出の注目度）: 9.513535521590297
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: LLM assistants and agentic systems log long multi-turn conversations. AI providers often scan these conversations for Personally Identifiable Information (PII) and mask the PII before storing or processing conversation data. Yet most PII detectors and benchmarks target self-contained records rather than cross-turn evaluation. To evaluate PII detection across turns in multi-turn conversations, we introduce PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), to our knowledge the first PII benchmark to assess whether detectors identify PII in conversational contexts and cover every mention of a recurring identifier across turns. PII-TRACE contains 13,148 synthetic multi-turn dialogues in 13 languages with character-level spans and identifier clusters. Across eleven baselines, including frontier LLMs, no detector achieves full entity-level coverage without substantial false positives on PII-free conversations, and single-pass reading loses a third of the gold characters on long dialogues. To close this gap, we introduce PII-Tracer, a compact 0.6B-parameter detector trained with conversation-level supervision. PII-Tracer attains the highest entity-level coverage of any system we evaluate and also performs strongly on standard single-record benchmarks.
• Abstract（参考訳）: LLMアシスタントとエージェントシステムは、長いマルチターン会話をログする。 AIプロバイダは、会話データを保存または処理する前に、PII(Personally Identible Information)のためにこれらの会話をスキャンし、PIIをマスクすることが多い。 しかし、ほとんどのPII検出器とベンチマークは、クロスターン評価よりも自己完結レコードをターゲットにしている。 PII-TRACE (Tracing Recurring PII Across Conversational Exchanges, Tracing Recurring PII Across Conversational Exchanges, PII-TRACE) は,PIIが会話の文脈で識別されるかどうかを評価するための最初のPIIベンチマークである。 PII-TRACEには13の言語で13,148の合成マルチターン対話があり、文字レベルスパンと識別子クラスタがある。 フロンティアLSMを含む11のベースラインで、PIIのない会話において実質的な偽陽性を伴わずに完全なエンティティレベルのカバレッジを達成できず、シングルパス読み取りは長い対話で金文字の3分の1を失う。 このギャップを埋めるために、会話レベルの監視を訓練したコンパクトな0.6Bパラメータ検出器であるPII-Tracerを導入する。 PII-Tracerは、評価したシステムの中で、最も高いエンティティレベルのカバレッジを獲得し、標準のシングルレコードベンチマークで強く機能する。

関連論文リスト

• MP-Bench: Evaluating Voice Agents as a Multiparty Conversation Participant [138.90198190949545]
  MP-Benchは,対話型音声システムに対して,マルチパーティ・コンテクスト内でのアクティブな参加者としての評価を目的とした,最初のベンチマークである。 MP-Benchは、ターンテイキングの認識と応答の適切性という2つの主要な側面に沿ってエージェントの振る舞いを評価する。 リアルタイム音声エージェントは、マルチパーティの理解において22%以下にとどまり、マルチパーティのターンテイクにおいてほぼチャンスであることがわかった。
  論文  参考訳（メタデータ） (2026-09-11T17:11:55Z)
• Scalable multilingual PII annotation for responsible AI in LLMs [0.09480662172227128]
  この研究は、13の未表現ローカライズにまたがる高品質なPIIアノテーションのために設計されたスケーラブルな多言語データキュレーションフレームワークを導入する。 我々のフェーズド・ヒューマン・イン・ザ・ループの方法論は、言語学の専門知識と厳格な品質保証を組み合わせることで、リコールと偽陽性率を大幅に改善する。
  論文  参考訳（メタデータ） (2025-10-03T21:40:31Z)
• PII-Bench: Evaluating Query-Aware Privacy Protection Systems [10.52362814808073]
  本稿では,プライバシ保護システムを評価するための総合的な評価フレームワークであるPII-Benchを提案する。 PII-Benchは55の細粒度PIIカテゴリにまたがる2,842の試験サンプルから構成されており、単目的記述から複雑な多人数インタラクションまで多様なシナリオが特徴である。
  論文  参考訳（メタデータ） (2025-02-25T14:49:08Z)
• Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs [59.74002011562726]
  我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。 中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。 実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:27:43Z)
• FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems [53.89014188309486]
  複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。 会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-31T23:58:28Z)
• Dial2vec: Self-Guided Contrastive Learning of Unsupervised Dialogue Embeddings [41.79937481022846]
  教師なし対話の埋め込みを学習するタスクについて紹介する。 事前学習された単語や文の埋め込みや、事前学習された言語モデルによるエンコーディングといったトライアル的なアプローチは、実現可能であることが示されている。 本稿では,Dial2vecという自己指導型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-27T11:14:06Z)
• Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
  本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。 我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
  論文  参考訳（メタデータ） (2020-10-26T21:34:39Z)
• Topic-Aware Multi-turn Dialogue Modeling [91.52820664879432]
  本稿では,トピック認識発話を教師なしでセグメント化して抽出する,多元対話モデリングのための新しいソリューションを提案する。 トピック・アウェア・モデリングは、新たに提案されたトピック・アウェア・セグメンテーション・アルゴリズムとトピック・アウェア・デュアル・アテンション・マッチング(TADAM)ネットワークによって実現されている。
  論文  参考訳（メタデータ） (2020-09-26T08:43:06Z)
• Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting [56.268862325167575]
  マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。 本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。 前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。 後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
  論文  参考訳（メタデータ） (2020-05-05T14:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。