論文の概要: Black-Box Privacy Attacks on Shared Representations in Multitask Learning

• arxiv url: http://arxiv.org/abs/2506.16460v1
• Date: Thu, 19 Jun 2025 16:56:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.175899
• Title: Black-Box Privacy Attacks on Shared Representations in Multitask Learning
• Title（参考訳）: マルチタスク学習における共有表現に対するブラックボックスプライバシ攻撃
• Authors: John Abascal, Nicolás Berrios, Alina Oprea, Jonathan Ullman, Adam Smith, Matthew Jagielski,
• Abstract要約: 推論攻撃のレンズを用いて、共有表現によってどのような情報が明らかにされるかを検討する。 我々は、同じタスクからの埋め込み間の依存関係を利用する機械学習モデルに対する、効率的で純粋にブラックボックス攻撃を開発する。
• 参考スコア（独自算出の注目度）: 14.976631657784997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multitask learning (MTL) has emerged as a powerful paradigm that leverages similarities among multiple learning tasks, each with insufficient samples to train a standalone model, to solve them simultaneously while minimizing data sharing across users and organizations. MTL typically accomplishes this goal by learning a shared representation that captures common structure among the tasks by embedding data from all tasks into a common feature space. Despite being designed to be the smallest unit of shared information necessary to effectively learn patterns across multiple tasks, these shared representations can inadvertently leak sensitive information about the particular tasks they were trained on. In this work, we investigate what information is revealed by the shared representations through the lens of inference attacks. Towards this, we propose a novel, black-box task-inference threat model where the adversary, given the embedding vectors produced by querying the shared representation on samples from a particular task, aims to determine whether that task was present when training the shared representation. We develop efficient, purely black-box attacks on machine learning models that exploit the dependencies between embeddings from the same task without requiring shadow models or labeled reference data. We evaluate our attacks across vision and language domains for multiple use cases of MTL and demonstrate that even with access only to fresh task samples rather than training data, a black-box adversary can successfully infer a task's inclusion in training. To complement our experiments, we provide theoretical analysis of a simplified learning setting and show a strict separation between adversaries with training samples and fresh samples from the target task's distribution.
• Abstract（参考訳）: マルチタスク学習(MTL)は、複数の学習タスク間の類似性を活用する強力なパラダイムとして登場し、それぞれがスタンドアロンモデルのトレーニングに不十分なサンプルを持ち、ユーザや組織間でのデータ共有を最小化しながら、それらを同時に解決する。 MTLは通常、すべてのタスクから共通の機能空間にデータを埋め込むことで、タスク間の共通構造をキャプチャする共有表現を学ぶことで、この目標を達成する。 複数のタスクにまたがるパターンを効果的に学習するために必要な共有情報の最小単位として設計されたが、これらの共有表現は、トレーニングされた特定のタスクに関する機密情報を不注意に漏洩させる可能性がある。 本研究では,共用表現による情報開示について,推論攻撃のレンズを用いて検討する。 そこで本研究では,特定のタスクからサンプルの共有表現を問合せして生成した埋め込みベクトルに対して,そのタスクが存在するか否かを判定する,ブラックボックス型タスク推論脅威モデルを提案する。 我々は、シャドウモデルやラベル付き参照データを必要としない、同一タスクからの埋め込み間の依存関係を利用する機械学習モデルに対する、効率的で純粋なブラックボックス攻撃を開発する。 我々は、MTLの複数のユースケースにおける視覚と言語ドメインにわたる攻撃を評価し、トレーニングデータではなく、新しいタスクサンプルにのみアクセスしても、ブラックボックスの敵は、トレーニングにおけるタスクの包摂性を推測できることを示した。 実験を補完するため,簡単な学習環境を理論的に分析し,対象タスクの分布から抽出したサンプルとトレーニングサンプルとの厳密な分離を示す。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
  本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。 提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
  論文  参考訳（メタデータ） (2023-06-29T17:59:57Z)
• Musketeer: Joint Training for Multi-task Vision Language Model with Task Explanation Prompts [75.75548749888029]
  本稿では,全てのタスクに対してパラメータを共同で訓練し,複数の異種タスク間で完全に共有する視覚言語モデルを提案する。 単一のモデルで、Musteteerは単一のタスクでトレーニングされた強いベースラインに匹敵する結果を得る。
  論文  参考訳（メタデータ） (2023-05-11T17:57:49Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Interval Bound Interpolation for Few-shot Learning with Few Tasks [15.85259386116784]
  少ないショット学習は、さまざまなタスクのトレーニングから得られた知識を、限られたラベル付きデータで見つからないタスクに転送することを目的としている。 そこで本研究では,頑健な学習文献から数ショット学習まで,インターバルバウンダリの概念を紹介した。 次に、利用可能なタスクと各インターバル境界を補間することにより、トレーニングのための新しいタスクを人工的に形成する。
  論文  参考訳（メタデータ） (2022-04-07T15:29:27Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Learning Multi-Tasks with Inconsistent Labels by using Auxiliary Big Task [24.618094251341958]
  マルチタスク学習は,タスク間の共通知識の伝達と活用により,モデルの性能を向上させることを目的とする。 本稿では,これらの課題をカバーするために,学習した補助的大タスクから豊富な情報と十分な数のクラスを両立させることにより,これらの課題を学習するための枠組みを提案する。 実験により, 現状のアプローチと比較し, その有効性を示した。
  論文  参考訳（メタデータ） (2022-01-07T02:46:47Z)
• Combat Data Shift in Few-shot Learning with Knowledge Graph [42.59886121530736]
  現実世界のアプリケーションでは、少数ショットの学習パラダイムはデータシフトに悩まされることが多い。 既存の少数ショット学習アプローチのほとんどは、データシフトを考慮して設計されていない。 本稿では,タスク固有表現とタスク共有表現を抽出するメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-27T12:35:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。