論文の概要: Residual Attribute Leakage Is an Interface: Auditing Privacy Evaluation After Text De-identification
- arxiv url: http://arxiv.org/abs/2611.04941v1
- Date: Tue, 03 Nov 2026 14:08:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 12:36:56.819351
- Title: Residual Attribute Leakage Is an Interface: Auditing Privacy Evaluation After Text De-identification
- Title(参考訳): 残余属性の漏洩は、テキストの識別解除後にプライバシー評価を監査するインターフェース
- Abstract要約: 特定されていないテキストのプライバシー評価は、人の保護された属性を推測するために言語モデル(相手)を尋ねる。
そこで本研究では,その真の価値に対する信頼度向上の事前正規化クリッピングリークスコアを導入し,その結果を検証した。
- 参考スコア(独自算出の注目度): 14.348363741328098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A privacy evaluation of de-identified text asks a language model (the adversary) to guess a person's protected attribute. We introduce a prior-normalised clipped leakage score of its confidence gain on the true value and audit the conclusions drawn from it. Each verdict depends on an evaluation interface (the queried person, answer options, prior, adversary model and scoring rule), which we vary on fixed releases of three corpora. In a stress test, an editor that writes the opposite-sex form at the same spans a redaction editor would redact misleads the adversary about most people, yet ranks first among editors scored on the same MedQA entries under this score, as under attack accuracy and proper scoring rules read as privacy. A relabelling-invariant reading of AUC ranks that editor sixth of eight, and a rule-aware adversary recovers the attribute from the same text. On ordinary releases most verdict changes are gains or losses of separability; of six choices varied over all pairs, only the adversary reverses comparisons (5 of its 124 changes), and the query can target the wrong person. SACC, a traceable editor we build as the instrument, lets us ablate two editing principles and show where its advantage does not hold.
- Abstract(参考訳): 特定されていないテキストのプライバシー評価は、人の保護された属性を推測するために言語モデル(相手)を尋ねる。
そこで本研究では,その真の価値に対する信頼度向上の事前正規化クリッピングリークスコアを導入し,その結果を検証した。
各評定は、3つのコーパスの固定リリースによって異なる評価インターフェース(質問人、回答オプション、事前、敵モデル、スコアリングルール)に依存する。
ストレステストでは、逆性形式を同時に書く編集者が、リアクションエディターは、ほとんどの人々に対する敵意を誤解させるが、このスコアの下で同じMedQAエントリでスコアされたエディターの中で、攻撃精度と適切なスコアリングルールをプライバシとして読み上げられるように、第1位にランク付けする。
AUCのレラベリング不変読解は、編集者が8の6番目とランク付けし、ルールアウェアの敵は、その属性を同じテキストから復元する。
通常のリリースでは、ほとんどの検証変更は、分離可能性の獲得または損失であり、すべてのペアで6つの選択のうち、逆比較(124の変更のうち5つ)のみが変更され、クエリは間違った人をターゲットにすることができる。
楽器として構築したトレーサブルなエディタであるSACCでは、2つの編集原則を廃止し、その利点がどこに収まらないかを示すことができます。
関連論文リスト
- EditAgent: Rethinking Agentic Image Editing [47.84719910263579]
そのようなエージェントは、エージェントができることのアクション空間と、その裁判官が見ることができることの観察空間の2つの空間で区切られていると我々は主張する。
提案するEditAgentは,各ステップを一般的な編集者や専門的なメソッドにルーティングし,各候補に検証レコードをアタッチする。
これらの記録により、市販のVLM審査員は微調整の報酬モデルより優れている。
論文 参考訳(メタデータ) (2026-10-29T09:15:52Z) - Edit Discovery in Human-AI Interactions [26.421666468351592]
編集者の概念を考察する: より有能な評価プロセスで、応答を検査し、それを確認または修正することができるが、その呼び出しはコストがかかる。
重要な課題は、編集が実際に行われるかどうかを知る前に、どのインタラクションをエディタに送るかを決定することである。
この問題をEDO(Edit Discovery Optimization)として定式化し、スキップされたインタラクション間で欠落した編集機会を最小限に抑える。
EDIT (Edit Discovery via Iterative Thresholding) は、編集ラベルを選択されたインタラクションにのみ公開する部分フィードバック設定のためのオンラインアルゴリズムである。
論文 参考訳(メタデータ) (2026-10-15T21:24:20Z) - PRISM: Calibrating Black-Box Judges with Counterfactual Probes [4.008552520886025]
PRISMは、評価されたコンテンツを固定し、属性が強調されたり強調されていない場合のスコアの変化を測定する。
人間のラベルのリッジ回帰はベースラインスコアの補正を学習する。
PRISMとその学習ベースラインの変種は、校正されていないスコアよりも人間のランキングとの一致を著しく改善した。
論文 参考訳(メタデータ) (2026-10-13T13:39:50Z) - A Low Grounding Score Is Not an Ungrounded Judge: Identifying the Perceptibility Confound in Multimodal Oversight [0.8594140167290097]
画像側の反事実スコアを単独で報告すべきでないことを示す。
画像上の検出プローブが上部にバウンドし、その誤報を認証し、実行に余分な費用がかからない。
論文 参考訳(メタデータ) (2026-09-09T05:55:25Z) - Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement [50.34437999083224]
オートレーダは、評価と自動モデレーションコンテンツにますます使われています。
ヒトとオートレーダの両方に提示されるルーブリックの修正がスコアアグリーメントにどのように影響するかは、統計学的に限定されている。
論文 参考訳(メタデータ) (2026-05-07T13:55:11Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳(メタデータ) (2026-04-21T14:21:15Z) - CoEditor++: Instruction-based Visual Editing via Cognitive Reasoning [98.98349220451216]
CoEditor++は、編集を"編集する方法"と"編集方法"に分解する、トレーニング不要のフレームワークである。
我々は,CoEditor++が編集タスクと編集タスクの両方において,最先端のパフォーマンスを実現することを示す。
以上の結果から,認知中心型画像編集の可能性が示唆された。
論文 参考訳(メタデータ) (2026-01-31T12:20:46Z) - VoxGuard: Evaluating User and Attribute Privacy in Speech via Membership Inference Attacks [51.68795949691009]
差分プライバシとメンバシップ推論に基づくフレームワークであるVoxGuardを紹介した。
属性については, 匿名化後も, 性別やアクセントをほぼ完全精度で再現できることが示唆された。
以上の結果から,EERはリークを著しく過小評価し,低FPR評価の必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2025-09-22T20:57:48Z) - ARIES: A Corpus of Scientific Paper Edits Made in Response to Peer Reviews [36.76200047558003]
我々は、ピアフィードバックに基づいて科学論文を自動修正するタスクを導入する。
著者が作成した特定の論文にレビュアーコメントをリンクするラベルを提供する。
アートの状態をカバーした10のモデルを用いた実験では、どの編集がコメントに対応するかを特定するのに苦労していることがわかった。
論文 参考訳(メタデータ) (2023-06-21T22:00:03Z) - Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。
この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。
この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T07:41:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。