論文の概要: VoxPrivacy: A Benchmark for Evaluating Interactional Privacy of Speech Language Models

• arxiv url: http://arxiv.org/abs/2601.19956v1
• Date: Tue, 27 Jan 2026 06:22:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.608333
• Title: VoxPrivacy: A Benchmark for Evaluating Interactional Privacy of Speech Language Models
• Title（参考訳）: VoxPrivacy: 音声モデルのインタラクションプライバシ評価のためのベンチマーク
• Authors: Yuxiang Wang, Hongyu Liu, Dekun Chen, Xueyao Zhang, Zhizheng Wu,
• Abstract要約: 音声言語モデル(SLM)は、ユーザが適切に情報の流れを管理するために区別されることが期待される。 現在のSLMベンチマークでは、対話能力をテストするが、話者識別は見落としている。 我々は、SLMにおけるインタラクションプライバシを評価するために設計された最初のベンチマークであるVoxPrivacyを紹介する。
• 参考スコア（独自算出の注目度）: 25.266028200777317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Speech Language Models (SLMs) transition from personal devices to shared, multi-user environments such as smart homes, a new challenge emerges: the model is expected to distinguish between users to manage information flow appropriately. Without this capability, an SLM could reveal one user's confidential schedule to another, a privacy failure we term interactional privacy. Thus, the ability to generate speaker-aware responses becomes essential for SLM safe deployment. Current SLM benchmarks test dialogue ability but overlook speaker identity. Multi-speaker benchmarks check who said what without assessing whether SLMs adapt their responses. Privacy benchmarks focus on globally sensitive data (e.g., bank passwords) while neglecting contextual privacy-sensitive information (e.g., a user's private appointment). To address this gap, we introduce VoxPrivacy, the first benchmark designed to evaluate interactional privacy in SLMs. VoxPrivacy spans three tiers of increasing difficulty, from following direct secrecy commands to proactively protecting privacy. Our evaluation of nine SLMs on a 32-hour bilingual dataset reveals a widespread vulnerability: most open-source models perform close to random chance (around 50% accuracy) on conditional privacy decisions, while even strong closed-source systems fall short on proactive privacy inference. We further validate these findings on Real-VoxPrivacy, a human-recorded subset, confirming that failures observed on synthetic data persist in real speech. Finally, we demonstrate a viable path forward: by fine-tuning on a new 4,000-hour training set, we improve privacy-preserving abilities while maintaining robustness. To support future work, we release the VoxPrivacy benchmark, the large-scale training set, and the fine-tuned model to foster the development of safer and more context-aware SLMs.
• Abstract（参考訳）: 音声言語モデル(SLM)がパーソナルデバイスからスマートホームなどの共有マルチユーザ環境へと移行するにつれ、新たな課題が浮かび上がってくる。 この機能がなければ、SLMはユーザーの秘密のスケジュールを他のユーザーに公開する可能性がある。 したがって、SLMの安全な配置には、話者対応応答を生成する能力が不可欠である。 現在のSLMベンチマークでは、対話能力をテストするが、話者識別は見落としている。 マルチスピーカーベンチマークでは、SLMが応答に適応するかどうかを評価することなく、誰が何を言ったかをチェックする。 プライバシーベンチマークは、グローバルなセンシティブなデータ(銀行のパスワードなど)にフォーカスすると同時に、コンテキストによるプライバシに敏感な情報(ユーザのプライベートアポイントメントなど)を無視している。 このギャップに対処するために、SLMにおけるインタラクションプライバシを評価するために設計された最初のベンチマークであるVoxPrivacyを紹介する。 VoxPrivacyは、直接機密命令に従うことから、積極的にプライバシーを保護することまで、難易度が増大する3つの層にまたがっている。 ほとんどのオープンソースモデルは、条件付きプライバシ決定においてランダムに(約50%の精度で)実行されますが、強力なクローズドソースシステムは、積極的なプライバシ推論では不足しています。 さらに,実音声における合成データ上の障害が持続していることを確認する,人間記録サブセットであるReal-VoxPrivacyについて,これらの知見を検証した。 4,000時間の新たなトレーニングセットを微調整することで、堅牢性を維持しつつ、プライバシ保護能力を改善します。 今後の作業を支援するため、我々はVoxPrivacyベンチマーク、大規模なトレーニングセット、そしてより安全でコンテキスト対応なSLMの開発を促進するための微調整モデルをリリースする。

関連論文リスト

• Privacy Collapse: Benign Fine-Tuning Can Break Contextual Privacy in Language Models [47.866853046761044]
  トレーニングデータの多様で微妙なパターンは、コンテキストプライバシを低下させる可能性がある。 微調整されたモデルは、コンテキストプライバシの規範を推論する能力を失う。 この結果から, 現状の安全性評価に重大なギャップがあることが判明した。
  論文  参考訳（メタデータ） (2026-01-21T17:53:06Z)
• MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
  LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。 まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。 次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
  論文  参考訳（メタデータ） (2025-06-25T18:04:25Z)
• Token-Level Privacy in Large Language Models [7.4143291213663955]
  本稿では,文脈情報と意味情報を統合するトークンレベルの新しいプライバシ保護機構であるdchi-stencilを紹介する。 意味的ニュアンスと文脈的ニュアンスの両方を取り入れることで、dchi-stencilはプライバシとユーティリティの堅牢なバランスを実現する。 この研究は、現代の高リスクアプリケーションにおけるプライバシ保護NLPの新しい標準を設定するためのdchi-stencilの可能性を強調している。
  論文  参考訳（メタデータ） (2025-03-05T16:27:25Z)
• PrivaCI-Bench: Evaluating Privacy with Contextual Integrity and Legal Compliance [44.287734754038254]
  生成型大規模言語モデル(LLM)のコンテキストプライバシ評価ベンチマークであるPrivaCI-Benchを提案する。 本稿では,最近の推論モデルQwQ-32BとDeepseek R1を含む最新のLCMを評価した。 実験の結果、LLMは特定のコンテキスト内で重要なCIパラメータを効果的にキャプチャできるが、プライバシコンプライアンスのさらなる進歩が必要であることが示唆された。
  論文  参考訳（メタデータ） (2025-02-24T10:49:34Z)
• Multi-P$^2$A: A Multi-perspective Benchmark on Privacy Assessment for Large Vision-Language Models [65.2761254581209]
  LVLM(Large Vision-Language Models)21個のオープンソースと2個のクローズドソースのプライバシ保護機能の評価を行った。 Multi-P$2$Aに基づいて、21のオープンソースと2つのクローズドソースLVLMのプライバシ保護機能を評価する。 以上の結果から,現在のLVLMは一般にプライバシー侵害のリスクが高いことが明らかとなった。
  論文  参考訳（メタデータ） (2024-12-27T07:33:39Z)
• Privacy-Preserving Large Language Models: Mechanisms, Applications, and Future Directions [0.0]
  本調査では,大規模言語モデルに適したプライバシ保護機構の展望について考察する。 メンバーシップ推論やモデル逆転攻撃といった重要なプライバシー問題に対処する上での有効性を検討する。 本稿では、最先端のアプローチと今後のトレンドを合成することによって、堅牢でプライバシーに配慮した大規模言語モデルを構築するための基盤を提供する。
  論文  参考訳（メタデータ） (2024-12-09T00:24:09Z)
• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。