論文の概要: Revisiting Model-Agnostic Private Learning: Faster Rates and Active Learning

• arxiv url: http://arxiv.org/abs/2011.03186v4
• Date: Fri, 11 Mar 2022 22:44:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 05:35:56.009133
• Title: Revisiting Model-Agnostic Private Learning: Faster Rates and Active Learning
• Title（参考訳）: モデルに依存しないプライベートラーニングの再検討:高速なレートとアクティブラーニング
• Authors: Chong Liu, Yuqing Zhu, Kamalika Chaudhuri, and Yu-Xiang Wang
• Abstract要約: 我々は, Tsybakov Noise Condition (TNC)を導入し, より強く解釈可能な学習境界を確立する。 また、プライバシー予算の節約にアクティブラーニングを利用するという説得力のあるアイデアについても検討する。
• 参考スコア（独自算出の注目度）: 32.50607540766051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Private Aggregation of Teacher Ensembles (PATE) framework is one of the most promising recent approaches in differentially private learning. Existing theoretical analysis shows that PATE consistently learns any VC-classes in the realizable setting, but falls short in explaining its success in more general cases where the error rate of the optimal classifier is bounded away from zero. We fill in this gap by introducing the Tsybakov Noise Condition (TNC) and establish stronger and more interpretable learning bounds. These bounds provide new insights into when PATE works and improve over existing results even in the narrower realizable setting. We also investigate the compelling idea of using active learning for saving privacy budget, and empirical studies show the effectiveness of this new idea. The novel components in the proofs include a more refined analysis of the majority voting classifier - which could be of independent interest - and an observation that the synthetic "student" learning problem is nearly realizable by construction under the Tsybakov noise condition.
• Abstract（参考訳）: 教師アンサンブル(pate)フレームワークのプライベートアグリゲーションは、微分的プライベートラーニングにおける最も有望なアプローチの1つである。 既存の理論解析によれば、PATE は任意のVCクラスを無限に学習するが、最適分類器の誤差率が 0 から外されるより一般的な場合において、その成功を説明するには不十分である。 このギャップを埋めるために,tsybakovノイズ条件(tnc)を導入し,より強く解釈可能な学習境界を確立する。 これらの境界は、PATEがいつ動作するかの新しい洞察を与え、より狭い実現可能な設定でも既存の結果を改善する。 また,プライバシ予算の節約にアクティブラーニングを利用するという説得力のあるアイデアについても検討し,このアイデアの有効性を示す実証的研究を行った。 証明の新たな要素には、多数決分類器(独立利害関係にあるかもしれない)のより洗練された分析と、合成された「学生」学習問題は、ツィバコフ雑音条件の下で構築することでほぼ実現可能であるという観察が含まれる。

関連論文リスト

• BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
  教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。 そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
  論文  参考訳（メタデータ） (2024-02-04T10:52:43Z)
• Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
  本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。 実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-02T08:05:35Z)
• Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery [76.63807209414789]
  我々は,クラスiNCDにおける現状問題に挑戦し,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。 凍結したPTMバックボーンと学習可能な線形分類器から構成される単純なベースラインを提案する。
  論文  参考訳（メタデータ） (2023-03-28T13:47:16Z)
• ICICLE: Interpretable Class Incremental Continual Learning [35.105786309067895]
  Interpretable Class-InCremental LEarning (ICICLE) は、模範的な部分ベースのアプローチを採用する、典型的なフリーアプローチである。 実験の結果,ICICLEは解釈可能性の概念のドリフトを減らし,従来のクラス増分学習手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-03-14T11:31:45Z)
• From Mimicking to Integrating: Knowledge Integration for Pre-Trained Language Models [55.137869702763375]
  本稿では,新しいPLM再利用パラダイムであるKnowledge Integration(KI)について検討する。 KIは,異なる分類問題に特化している教師-PLMの知識を,多種多様な学生モデルにマージすることを目的としている。 次に,モデル不確かさを意識した知識統合(MUKI)フレームワークを設計し,学生の黄金の監督を回復する。
  論文  参考訳（メタデータ） (2022-10-11T07:59:08Z)
• Integrating Prior Knowledge in Contrastive Learning with Kernel [4.050766659420731]
  我々は、カーネル理論を用いて、(i)事前知識の統合を可能にし、(i)元のInfoNCE損失における負の正の結合を取り除くという、分離均一性(decoupled uniformity)と呼ばれる新しい損失を提案する。 教師なしの環境では、CLは自然画像と医用画像の両方で表現を改善するために生成モデルから恩恵を受けることを実証的に実証する。
  論文  参考訳（メタデータ） (2022-06-03T15:43:08Z)
• Revisiting Contrastive Learning through the Lens of Neighborhood Component Analysis: an Integrated Framework [70.84906094606072]
  下流タスクにおいて高い精度とロバスト性を同時に達成できるような、統合されたコントラスト損失を設計するための新しい手法を示す。 統合フレームワークでは,標準精度が最大6%向上し,対角精度が17%向上した。
  論文  参考訳（メタデータ） (2021-12-08T18:54:11Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• Simpler, Faster, Stronger: Breaking The log-K Curse On Contrastive Learners With FlatNCE [104.37515476361405]
  比較学習者が小さいバッチサイズで失敗する理由を数学的に明らかにする。 この問題を解決するために,FlatNCEという新たな非ネイティブコントラスト目標を提案する。
  論文  参考訳（メタデータ） (2021-07-02T15:50:43Z)
• Stopping criterion for active learning based on deterministic generalization bounds [4.518012967046983]
  本稿では,アクティブな学習を自動的に停止するための基準を提案する。 提案した停止基準は、期待される一般化誤差と仮説テストの違いに基づいている。 人工データセットと実データの両方を用いた実験により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-05-15T08:15:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。