論文の概要: The Fundamental Limits of Least-Privilege Learning
- arxiv url: http://arxiv.org/abs/2402.12235v1
- Date: Mon, 19 Feb 2024 15:44:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 15:45:57.542452
- Title: The Fundamental Limits of Least-Privilege Learning
- Title(参考訳): 学習の基本的限界
- Authors: Theresa Stadler, Bogdan Kulynych, Nicoals Papernot, Michael Gastpar,
Carmela Troncoso
- Abstract要約: 機械学習における最小特権原理の最初の形式化を提供する。
我々は、あるタスクに対する表現の効用と、意図したタスク以上のリークとの間には、根本的なトレードオフがあることを証明している。
このトレードオフは、これらの表現を生成する機能マッピングを学ぶのに使用されるテクニックにかかわらず、成り立つ。
- 参考スコア(独自算出の注目度): 20.28612376799554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The promise of least-privilege learning -- to find feature representations
that are useful for a learning task but prevent inference of any sensitive
information unrelated to this task -- is highly appealing. However, so far this
concept has only been stated informally. It thus remains an open question
whether and how we can achieve this goal. In this work, we provide the first
formalisation of the least-privilege principle for machine learning and
characterise its feasibility. We prove that there is a fundamental trade-off
between a representation's utility for a given task and its leakage beyond the
intended task: it is not possible to learn representations that have high
utility for the intended task but, at the same time prevent inference of any
attribute other than the task label itself. This trade-off holds regardless of
the technique used to learn the feature mappings that produce these
representations. We empirically validate this result for a wide range of
learning techniques, model architectures, and datasets.
- Abstract(参考訳): 最小特権学習の約束 -- 学習タスクに役立つが、このタスクとは無関係な機密情報の推測を防ぐ機能表現を見つけることは、非常に魅力的である。
しかし、今のところこの概念は非公式にのみ述べられている。
したがって、この目標を達成できるか、どのように達成できるかは、まだ疑問の余地がない。
本稿では,機械学習における最小優先原理の最初の形式化と実現可能性について述べる。
我々は、あるタスクに対する表現のユーティリティと、その意図したタスクを超えたリークとの間に基本的なトレードオフがあることを証明している: 意図されたタスクに対して高いユーティリティを持つ表現を学習することは不可能であるが、同時に、タスクラベル自身以外の属性の推論を防止できる。
このトレードオフは、これらの表現を生成する機能マッピングを学ぶのに使用されるテクニックに関係なく保持される。
この結果を、幅広い学習技術、モデルアーキテクチャ、データセットに対して実証的に検証します。
関連論文リスト
- Proto-Value Networks: Scaling Representation Learning with Auxiliary
Tasks [33.98624423578388]
補助的なタスクは、深層強化学習エージェントによって学習された表現を改善する。
我々は、後継措置に基づく新しい補助業務のファミリーを導出する。
プロト値ネットワークは、確立されたアルゴリズムに匹敵する性能を得るために、リッチな特徴を生み出すことを示す。
論文 参考訳(メタデータ) (2023-04-25T04:25:08Z) - Adversarial Auto-Augment with Label Preservation: A Representation
Learning Principle Guided Approach [95.74102207187545]
本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。
そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
論文 参考訳(メタデータ) (2022-11-02T02:02:51Z) - Feature Forgetting in Continual Representation Learning [48.89340526235304]
表現は、平凡な連続学習においても「破滅的な忘れ」に苦しめられることはないが、その特徴についてはほとんど知られていない。
連続的な学習における表現を評価するためのプロトコルを考案し、それを用いて連続的な表現学習の基本的傾向の概要を示す。
特徴忘れ問題を研究するために、ニューラルネットワークにおける特徴忘れの頻度を識別し視覚化する合成データセットを作成する。
論文 参考訳(メタデータ) (2022-05-26T13:38:56Z) - Conditional independence for pretext task selection in Self-supervised
speech representation learning [23.39079406674442]
自己教師付き学習(ssl)はラベルのないデータを利用して、下流タスクの従来の入力機能を置き換える有用な潜在表現を抽出する。
一般的なプリテキストタスクは、元の信号から派生した擬似ラベル上でSSLモデルを事前訓練することである。
本稿では,与えられた下流タスクに関連のある擬似ラベルを選択するための実用的かつ理論的フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-15T11:32:59Z) - Conditional Meta-Learning of Linear Representations [57.90025697492041]
表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。
本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。
この利点を実用的に活用できるメタアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-30T12:02:14Z) - Reinforcement Learning with Prototypical Representations [114.35801511501639]
Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。
これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。
これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
論文 参考訳(メタデータ) (2021-02-22T18:56:34Z) - Improving Few-Shot Learning with Auxiliary Self-Supervised Pretext Tasks [0.0]
最近の少数ショット学習の研究は、学習された表現の質が少数ショット分類のパフォーマンスにおいて重要な役割を果たしていることを示しています。
一方,自己教師付き学習の目標は,クラスラベルを使わずにデータの有用な意味情報を復元することである。
我々は,最近の自己教師あり手法を補助タスクとして利用するマルチタスクフレームワークを用いて,両パラダイムの相補性を活用する。
論文 参考訳(メタデータ) (2021-01-24T23:21:43Z) - Towards All-around Knowledge Transferring: Learning From Task-irrelevant
Labels [44.036667329736225]
既存の取り組みは、この問題に取り組むために、タスク関連知識を他の類似データから移すことに重点を置いている。
これまでタスク非関連の特徴の影響を調査する大規模な研究は行われていない。
本稿では,タスク非関連ラベルから主に抽出されるタスク非関連特徴を利用するタスク非関連変換学習を提案する。
論文 参考訳(メタデータ) (2020-11-17T06:43:58Z) - Weakly Supervised Representation Learning with Coarse Labels [29.67549798642795]
ディープラーニングは、原材料から直接タスク依存の方法で識別パターンを学習することができる。
現実のアプリケーションでは、オンラインショッピングにおけるビジュアル検索など、タスク固有のラベルを収集するには高すぎる。
粗いクラスラベルのみを利用できる場合に,対象タスクのきめ細かいパターンを学習するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-05-19T18:05:20Z) - Privileged Information Dropout in Reinforcement Learning [56.82218103971113]
トレーニング中に特権情報を使用することで、機械学習システムのサンプル効率とパフォーマンスを向上させることができる。
本研究では,価値に基づく強化学習アルゴリズムとポリシーに基づく強化学習アルゴリズムに等しく適用可能なプライヴィレグ情報ドロップアウト(pid)について検討する。
論文 参考訳(メタデータ) (2020-05-19T05:32:33Z) - Fairness by Learning Orthogonal Disentangled Representations [50.82638766862974]
不変表現問題に対する新しい非絡み合い手法を提案する。
エントロピーによりセンシティブな情報に依存しない有意義な表現を強制する。
提案手法は5つの公開データセットで評価される。
論文 参考訳(メタデータ) (2020-03-12T11:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。