論文の概要: Multi-Task Differential Privacy Under Distribution Skew

• arxiv url: http://arxiv.org/abs/2302.07975v1
• Date: Wed, 15 Feb 2023 22:44:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-17 15:38:01.455420
• Title: Multi-Task Differential Privacy Under Distribution Skew
• Title（参考訳）: 分散スキュー下におけるマルチタスクディファレンシャルプライバシー
• Authors: Walid Krichene, Prateek Jain, Shuang Song, Mukund Sundararajan, Abhradeep Thakurta, Li Zhang
• Abstract要約: ユーザレベルの差分プライバシー下でのマルチタスク学習の課題について検討する。 問題の重要な側面の1つは、タスク間の分散スキューである。
• 参考スコア（独自算出の注目度）: 36.770164806995204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of multi-task learning under user-level differential privacy, in which $n$ users contribute data to $m$ tasks, each involving a subset of users. One important aspect of the problem, that can significantly impact quality, is the distribution skew among tasks. Certain tasks may have much fewer data samples than others, making them more susceptible to the noise added for privacy. It is natural to ask whether algorithms can adapt to this skew to improve the overall utility. We give a systematic analysis of the problem, by studying how to optimally allocate a user's privacy budget among tasks. We propose a generic algorithm, based on an adaptive reweighting of the empirical loss, and show that when there is task distribution skew, this gives a quantifiable improvement of excess empirical risk. Experimental studies on recommendation problems that exhibit a long tail of small tasks, demonstrate that our methods significantly improve utility, achieving the state of the art on two standard benchmarks.
• Abstract（参考訳）: ユーザレベルでの差分プライバシー下でのマルチタスク学習の課題について検討し,各ユーザのサブセットを含む$m$タスクにデータをコントリビュートする。 この問題の1つの重要な側面は、品質に大きな影響を与えうる、タスク間の分布スキューである。 特定のタスクは、他のタスクよりもはるかに少ないデータサンプルを持ち、プライバシに付加されるノイズの影響を受けやすい。 アルゴリズムがこのスキューに適応して全体の有用性を向上させることができるかどうかを問うのは当然である。 本稿では,タスク間でユーザのプライバシ予算を最適に割り当てる方法について,その問題を体系的に分析する。 本稿では,経験的損失の適応的再重み付けに基づく汎用アルゴリズムを提案し,タスク分布スキューが存在する場合,過剰な経験的リスクを定量的に改善することを示す。 小タスクのロングテールを示すレコメンデーション問題に関する実験的研究は、我々の手法が有用性を大幅に改善し、2つの標準ベンチマークで技術の現状を達成することを実証している。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Towards Model-Based Data Acquisition for Subjective Multi-Task NLP Problems [12.38430125789305]
  マルチタスクシナリオにおける各テキストに対して個別にアノテートされたタスクの選択を可能にする新しいモデルベースアプローチを提案する。 3つのデータセット、数十のNLPタスク、数千のアノテーションによる実験により、我々の手法は、知識の喪失を無視できるアノテーションの数を最大40%削減できることを示した。
  論文  参考訳（メタデータ） (2023-12-13T15:03:27Z)
• Task Selection and Assignment for Multi-modal Multi-task Dialogue Act Classification with Non-stationary Multi-armed Bandits [11.682678945754837]
  マルチタスク学習(MTL)は、関連する補助タスクと共同学習することで、一次タスクの性能を向上させることを目的としている。 これまでの研究では、このようなランダムなタスクの選択は役に立たない可能性があり、パフォーマンスに有害な可能性があることが示唆されている。 本稿では,非定常的マルチアームバンディットに基づくタスクの選択と割り当てを行う手法を提案する。
  論文  参考訳（メタデータ） (2023-09-18T14:51:51Z)
• Label Budget Allocation in Multi-Task Learning [61.12008399759143]
  マルチタスク学習では、関連するタスクが互いに情報を提供し、全体的なパフォーマンスを改善する。 最適なマルチタスクパフォーマンスを実現するために,ラベル予算をさまざまなタスクに割り当てるには,どうすればよいのか? 我々は,マルチタスク学習において,ラベル予算配分問題を初めて提案し,正式に定義する。
  論文  参考訳（メタデータ） (2023-08-24T17:38:14Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Collaborative Anomaly Detection [66.51075412012581]
  本研究では,タスク間の相関関係を埋め込むことで,全てのタスクを共同で学習するための協調的異常検出(CAD)を提案する。 条件密度推定と条件確率比推定を用いてCADを探索する。 タスク埋め込みモデルを学ぶために、前もって少数のタスクを選択し、それを使ってタスク埋め込みをウォームスタートさせることは有益である。
  論文  参考訳（メタデータ） (2022-09-20T18:01:07Z)
• A new perspective on classification: optimally allocating limited resources to uncertain tasks [4.169130102668252]
  例えば、クレジットカード詐欺検出では、銀行は詐欺捜査チームに少数の取引しか割り当てることができない。 我々は、タスクの不確実性に対処するために分類を使うことは、利用可能な能力を考慮していないため、本質的には最適ではないと論じる。 本稿では,限られた能力しか持たない課題の期待利益を直接最適化することで,ランク付けのための学習を用いた新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2022-02-09T10:14:45Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。