論文の概要: TUPLE-Bench: Evaluating and Mitigating Privacy-Utility Trade-offs in Typed Decision Models
- arxiv url: http://arxiv.org/abs/2610.23668v1
- Date: Fri, 16 Oct 2026 16:00:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:08.015487
- Title: TUPLE-Bench: Evaluating and Mitigating Privacy-Utility Trade-offs in Typed Decision Models
- Title(参考訳): TUPLE-Bench: タイプ決定モデルにおけるプライバシとユーティリティのトレードオフの評価と緩和
- Abstract要約: TUPLE-Benchは、受信者が粗い操作カテゴリを学習できるが、その微妙な原因ではない合成ケースのベンチマークである。
完全な出力は62.85%-75.35%のリカバリが可能であるのに対し、51.04%-57.64%は選択されたカテゴリーのみを使用する。
- 参考スコア(独自算出の注目度): 17.731823612432517
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Typed decision models often return more than a selected category. They also expose probabilities for each candidate and, sometimes, a separate confidence score. These fields support downstream decisions but may reveal information beyond a recipient's authorization. We introduce TUPLE-Bench (Typed decision models' Utility and Privacy Leakage Evaluation Benchmark), a benchmark of paired synthetic cases in which recipients may learn a coarse operational category but not its fine-grained cause. Across nine models, instructions to withhold the cause fail to protect it: 91.88%-99.93% of responses reveal the cause through direct selection or residual scores. Even when causes are excluded from the candidate set, full outputs enable 62.85%-75.35% recovery on held-out cases, compared with 51.04%-57.64% using only the selected category (50% chance). Full outputs also reduce mean downstream cost in all 27 model-task comparisons. However, confidence fields increase leakage without consistently reducing cost. We further introduce workflow-constrained privacy quantization (WCPQ), which reduces secret recovery while preserving the behavior and cost of specified downstream workflows. Our findings highlight the need to audit decision interfaces field by field and workflow by workflow.
- Abstract(参考訳): 型付き決定モデルは、しばしば選択されたカテゴリ以上のものを返す。
また、各候補者の確率を公開し、時には別の信頼スコアを出力する。
これらのフィールドは下流の決定をサポートするが、受信者の許可以上の情報を明らかにする可能性がある。
TUPLE-Bench (Typed decision model' Utility and Privacy Leakage Evaluation Benchmark) は、受信者が粗い操作カテゴリを学習できるが、そのきめ細かい原因ではないペア合成ケースのベンチマークである。
9つのモデルにおいて、原因を守らないよう指示が失敗する: 91.88%-99.93%の応答は、直接選択または残留スコアによって原因を明らかにする。
原因が候補から除外されたとしても、完全なアウトプットによって62.85%-75.35%のリカバリが可能であり、選択されたカテゴリー(50%の確率)のみを使用して51.04%-57.64%である。
完全なアウトプットにより、27のモデルとタスクの比較で平均ダウンストリームコストが削減される。
しかし、信頼性フィールドはコストを一定に削減することなくリークを増大させる。
さらに、ワークフロー制約付きプライバシ量子化(WCPQ)を導入し、特定の下流ワークフローの動作とコストを保ちながら、シークレットリカバリを低減する。
この結果から,ワークフローによるフィールドとワークフローによる決定インターフェースの監査の必要性が浮き彫りになった。
関連論文リスト
- Calibration and Risk-Budgeted Decisions with System One Models [0.0]
LLMとエージェントは、入力を許可/ブロックしたり、検索したドキュメントを破棄/保存したりといったバイナリな決定に頼っている。
我々は,この設定におけるシステム1決定スコアについて,不確実な場合には保守的なフォールバックをデフォルトにすることで検討する。
テストリスクが定義された設定の約半数において、閾値選択の単純基線が目標リスクを超えていることが示される。
論文 参考訳(メタデータ) (2026-10-14T08:54:01Z) - CARRE: Counterfactual Action Retrieval and Reason Evaluation for Explainable Churn Prescription [5.823033362443801]
CARREは,検索強化候補生成,費用対効果評価,大規模言語モデル(LLM)推論を組み合わせた3段階のフレームワークである。
IBM Telco Customer Churnデータセットでは、CARREは通常のSHAPベースラインよりも79.8%高い平均モデル予測リスク削減を実現している。
論文 参考訳(メタデータ) (2026-09-09T06:08:02Z) - ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。
我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
論文 参考訳(メタデータ) (2026-02-27T05:22:01Z) - Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。
ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。
我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。
我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
論文 参考訳(メタデータ) (2025-04-07T03:57:41Z) - Contextual Linear Optimization with Partial Feedback [35.38485630117593]
本研究では,異なるタイプのフィードバックを持つ文脈線形最適化(CLO)のためのオフライン学習アルゴリズムのクラスを提案する。
我々は,IERMに対して,不特定モデルクラスとフレキシブルな推定方法の選択を可能にする,新しい高速遅延境界を提供する。
論文 参考訳(メタデータ) (2024-05-26T13:27:27Z) - Democratizing LLMs: An Exploration of Cost-Performance Trade-offs in
Self-Refined Open-Source Models [53.859446823312126]
SoTAは7Bから65Bまでのさまざまなサイズのオープンソースモデルを平均して、ベースラインのパフォーマンスから8.2%改善している。
厳密に言えば、Vicuna-7Bのような非常に小さなメモリフットプリントを持つモデルでさえ、全体的な11.74%の改善と、高い創造性、オープンエンドタスクの25.39%の改善を示している。
論文 参考訳(メタデータ) (2023-10-11T15:56:00Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳(メタデータ) (2023-06-14T21:22:01Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-08T07:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。