論文の概要: A Multi-Agent Framework for Mitigating Dialect Biases in Privacy Policy Question-Answering Systems
- arxiv url: http://arxiv.org/abs/2506.02998v1
- Date: Tue, 03 Jun 2025 15:32:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:35.817509
- Title: A Multi-Agent Framework for Mitigating Dialect Biases in Privacy Policy Question-Answering Systems
- Title(参考訳): プライバシポリシー質問応答システムにおける辞書バイアスの軽減のためのマルチエージェントフレームワーク
- Authors: Đorđe Klisura, Astrid R Bernaga Torres, Anna Karen Gárate-Escamilla, Rajesh Roshan Biswal, Ke Yang, Hilal Pataci, Anthony Rios,
- Abstract要約: 既存のプライバシポリシー質問回答システムは、英語の方言間でのパフォーマンス格差を示す。
本稿では、方言バイアスを軽減するために、人間中心の設計原則に触発された新しいマルチエージェントフレームワークを提案する。
- 参考スコア(独自算出の注目度): 12.690620622760775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Privacy policies inform users about data collection and usage, yet their complexity limits accessibility for diverse populations. Existing Privacy Policy Question Answering (QA) systems exhibit performance disparities across English dialects, disadvantaging speakers of non-standard varieties. We propose a novel multi-agent framework inspired by human-centered design principles to mitigate dialectal biases. Our approach integrates a Dialect Agent, which translates queries into Standard American English (SAE) while preserving dialectal intent, and a Privacy Policy Agent, which refines predictions using domain expertise. Unlike prior approaches, our method does not require retraining or dialect-specific fine-tuning, making it broadly applicable across models and domains. Evaluated on PrivacyQA and PolicyQA, our framework improves GPT-4o-mini's zero-shot accuracy from 0.394 to 0.601 on PrivacyQA and from 0.352 to 0.464 on PolicyQA, surpassing or matching few-shot baselines without additional training data. These results highlight the effectiveness of structured agent collaboration in mitigating dialect biases and underscore the importance of designing NLP systems that account for linguistic diversity to ensure equitable access to privacy information.
- Abstract(参考訳): プライバシーポリシーは、データ収集と利用についてユーザーに通知するが、その複雑さは多様な人口に対するアクセシビリティを制限する。
既存のプライバシポリシー質問回答システム(QA)では、英語の方言間でのパフォーマンス格差が見られ、非標準品種の話者には不都合である。
本稿では、方言バイアスを軽減するために、人間中心の設計原則に触発された新しいマルチエージェントフレームワークを提案する。
提案手法では,クエリを標準アメリカ英語(SAE)に翻訳するダイアレクトエージェントと,ドメインの専門知識を用いて予測を洗練するプライバシポリシエージェントを統合した。
従来の手法とは異なり、我々の手法は再訓練や方言固有の微調整を必要としないため、モデルやドメインに広く適用できる。
プライバシQAとポリシQAに基づいて、我々のフレームワークは、GPT-4o-miniのゼロショット精度をプライバシーQAで0.394から0.601に、ポリシーQAで0.352から0.464に改善し、追加のトレーニングデータなしで、少数ショットベースラインを超過または整合する。
これらの結果は、方言バイアスを軽減するための構造化エージェント協調の有効性を強調し、プライバシー情報への公平なアクセスを確保するために、言語多様性を考慮したNLPシステムの設計の重要性を強調している。
関連論文リスト
- Token-Level Privacy in Large Language Models [7.4143291213663955]
本稿では,文脈情報と意味情報を統合するトークンレベルの新しいプライバシ保護機構であるdchi-stencilを紹介する。
意味的ニュアンスと文脈的ニュアンスの両方を取り入れることで、dchi-stencilはプライバシとユーティリティの堅牢なバランスを実現する。
この研究は、現代の高リスクアプリケーションにおけるプライバシ保護NLPの新しい標準を設定するためのdchi-stencilの可能性を強調している。
論文 参考訳(メタデータ) (2025-03-05T16:27:25Z) - Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。
ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文 参考訳(メタデータ) (2024-06-20T13:54:32Z) - SoK: Reducing the Vulnerability of Fine-tuned Language Models to
Membership Inference Attacks [1.03590082373586]
我々は,大規模言語モデルのメンバシップ推論攻撃に対する脆弱性について,初めて体系的なレビューを行った。
これらの攻撃に対して最高のプライバシー保護を実現するために、差分プライバシーと低ランク適応器を組み合わせることで、いくつかのトレーニング手法がプライバシーリスクを著しく低減することを発見した。
論文 参考訳(メタデータ) (2024-03-13T12:46:51Z) - PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。
我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。
特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - PLUE: Language Understanding Evaluation Benchmark for Privacy Policies
in English [77.79102359580702]
プライバシポリシ言語理解評価ベンチマークは,プライバシポリシ言語理解を評価するマルチタスクベンチマークである。
また、プライバシポリシの大規模なコーパスを収集し、プライバシポリシドメイン固有の言語モデル事前トレーニングを可能にします。
ドメイン固有の連続的な事前トレーニングは、すべてのタスクでパフォーマンスを改善することを実証します。
論文 参考訳(メタデータ) (2022-12-20T05:58:32Z) - Selective Differential Privacy for Language Modeling [36.64464956102432]
これまでの研究は、RNNベースの言語モデルを異なるプライバシ保証でトレーニングすることで、この問題に対処しようとしてきた。
我々は、データの機密部分に対して厳密なプライバシー保証を提供するために、新しいプライバシー概念、選択的差分プライバシーを提案する。
言語モデリングとダイアログシステム構築の実験は、提案したプライバシー保護機構がより良いユーティリティを実現することを示す。
論文 参考訳(メタデータ) (2021-08-30T01:11:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。