論文の概要: The Fundamental Limits of Least-Privilege Learning

• arxiv url: http://arxiv.org/abs/2402.12235v2
• Date: Wed, 26 Jun 2024 14:18:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 19:04:48.414450
• Title: The Fundamental Limits of Least-Privilege Learning
• Title（参考訳）: 極小教育の基本的限界
• Authors: Theresa Stadler, Bogdan Kulynych, Michael C. Gastpar, Nicolas Papernot, Carmela Troncoso,
• Abstract要約: 機械学習における最小特権原理の最初の形式化を提供する。 与えられたタスクに対する表現の効用と、意図したタスク以上のリークとの間には、根本的なトレードオフがあることを証明します。
• 参考スコア（独自算出の注目度）: 35.747982254553655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The promise of least-privilege learning -- to find feature representations that are useful for a learning task but prevent inference of any sensitive information unrelated to this task -- is highly appealing. However, so far this concept has only been stated informally. It thus remains an open question whether and how we can achieve this goal. In this work, we provide the first formalisation of the least-privilege principle for machine learning and characterise its feasibility. We prove that there is a fundamental trade-off between a representation's utility for a given task and its leakage beyond the intended task: it is not possible to learn representations that have high utility for the intended task but, at the same time prevent inference of any attribute other than the task label itself. This trade-off holds under realistic assumptions on the data distribution and regardless of the technique used to learn the feature mappings that produce these representations. We empirically validate this result for a wide range of learning techniques, model architectures, and datasets.
• Abstract（参考訳）: 最小特権学習の約束 -- 学習タスクに役立つが、このタスクとは無関係な機密情報の推測を防ぐ機能表現を見つけることは、非常に魅力的である。 しかし、今のところこの概念は非公式にしか述べられていない。 したがって、この目標を達成できるかどうか、そしてどのように達成できるのかは、未解決のままである。 本研究では,機械学習における最小特権原理の最初の形式化と,その実現可能性について述べる。 我々は、あるタスクに対する表現の効用と意図したタスク以外のリークとの間に根本的なトレードオフがあることを証明し、意図したタスクに対して高い効用を有する表現を学習することは不可能であると同時に、タスクラベル自体以外の属性の推測を妨げていることを証明した。 このトレードオフは、データ分散に関する現実的な仮定に基づいており、これらの表現を生成する特徴マッピングを学ぶのに使用される技術に関係なく成り立っている。 この結果を、幅広い学習技術、モデルアーキテクチャ、データセットに対して実証的に検証します。

関連論文リスト

• Proto-Value Networks: Scaling Representation Learning with Auxiliary Tasks [33.98624423578388]
  補助的なタスクは、深層強化学習エージェントによって学習された表現を改善する。 我々は、後継措置に基づく新しい補助業務のファミリーを導出する。 プロト値ネットワークは、確立されたアルゴリズムに匹敵する性能を得るために、リッチな特徴を生み出すことを示す。
  論文  参考訳（メタデータ） (2023-04-25T04:25:08Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach [95.74102207187545]
  本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。 そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
  論文  参考訳（メタデータ） (2022-11-02T02:02:51Z)
• Conditional independence for pretext task selection in Self-supervised speech representation learning [23.39079406674442]
  自己教師付き学習(ssl)はラベルのないデータを利用して、下流タスクの従来の入力機能を置き換える有用な潜在表現を抽出する。 一般的なプリテキストタスクは、元の信号から派生した擬似ラベル上でSSLモデルを事前訓練することである。 本稿では,与えられた下流タスクに関連のある擬似ラベルを選択するための実用的かつ理論的フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-15T11:32:59Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Reinforcement Learning with Prototypical Representations [114.35801511501639]
  Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。 これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。 これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
  論文  参考訳（メタデータ） (2021-02-22T18:56:34Z)
• Learning Purified Feature Representations from Task-irrelevant Labels [18.967445416679624]
  本稿では,タスク関連ラベルから抽出したタスク関連機能を利用したPurifiedLearningという新しい学習フレームワークを提案する。 本研究は,PurifiedLearningの有効性を実証する,ソリッド理論解析と広範囲な実験に基づいている。
  論文  参考訳（メタデータ） (2021-02-22T12:50:49Z)
• Towards All-around Knowledge Transferring: Learning From Task-irrelevant Labels [44.036667329736225]
  既存の取り組みは、この問題に取り組むために、タスク関連知識を他の類似データから移すことに重点を置いている。 これまでタスク非関連の特徴の影響を調査する大規模な研究は行われていない。 本稿では,タスク非関連ラベルから主に抽出されるタスク非関連特徴を利用するタスク非関連変換学習を提案する。
  論文  参考訳（メタデータ） (2020-11-17T06:43:58Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。