論文の概要: Adaptive Clipping for Privacy-Preserving Few-Shot Learning: Enhancing Generalization with Limited Data

• arxiv url: http://arxiv.org/abs/2503.22749v1
• Date: Thu, 27 Mar 2025 05:14:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:38:10.726728
• Title: Adaptive Clipping for Privacy-Preserving Few-Shot Learning: Enhancing Generalization with Limited Data
• Title（参考訳）: プライバシ保護のための適応的クリッピング - 限定データによる一般化の促進
• Authors: Kanishka Ranaweera, Dinh C. Nguyen, Pubudu N. Pathirana, David Smith, Ming Ding, Thierry Rakotoarivelo, Aruna Seneviratne,
• Abstract要約: そこで我々は,メタクリップ(Meta-Clip)と呼ばれる新しい手法を導入する。 トレーニング中にクリッピング閾値を動的に調整することにより、アダプティブクリッピング法は機密情報の開示をきめ細かな制御を可能にする。 我々は,既存プライバシ保存技術に比べて優れたトレードオフを示すとともに,実用上の劣化を最小限に抑えるアプローチの有効性を実証する。
• 参考スコア（独自算出の注目度）: 12.614480013684759
• License:
• Abstract: In the era of data-driven machine-learning applications, privacy concerns and the scarcity of labeled data have become paramount challenges. These challenges are particularly pronounced in the domain of few-shot learning, where the ability to learn from limited labeled data is crucial. Privacy-preserving few-shot learning algorithms have emerged as a promising solution to address such pronounced challenges. However, it is well-known that privacy-preserving techniques often lead to a drop in utility due to the fundamental trade-off between data privacy and model performance. To enhance the utility of privacy-preserving few-shot learning methods, we introduce a novel approach called Meta-Clip. This technique is specifically designed for meta-learning algorithms, including Differentially Private (DP) model-agnostic meta-learning, DP-Reptile, and DP-MetaSGD algorithms, with the objective of balancing data privacy preservation with learning capacity maximization. By dynamically adjusting clipping thresholds during the training process, our Adaptive Clipping method provides fine-grained control over the disclosure of sensitive information, mitigating overfitting on small datasets and significantly improving the generalization performance of meta-learning models. Through comprehensive experiments on diverse benchmark datasets, we demonstrate the effectiveness of our approach in minimizing utility degradation, showcasing a superior privacy-utility trade-off compared to existing privacy-preserving techniques. The adoption of Adaptive Clipping represents a substantial step forward in the field of privacy-preserving few-shot learning, empowering the development of secure and accurate models for real-world applications, especially in scenarios where there are limited data availability.
• Abstract（参考訳）: データ駆動機械学習アプリケーションの時代、プライバシーの懸念とラベル付きデータの不足が最重要課題となっている。 これらの課題は、限られたラベル付きデータから学習する能力が不可欠である、数ショット学習の領域において特に顕著である。 プライバシー保護のための数発の学習アルゴリズムが、このような顕著な課題に対処するための有望なソリューションとして登場した。 しかし、データプライバシとモデルパフォーマンスの根本的なトレードオフにより、プライバシ保護技術がユーティリティの低下につながることがよく知られている。 プライバシ保護型数ショット学習手法の有用性を高めるために,メタクリップと呼ばれる新しいアプローチを導入する。 この技術は、データプライバシの保存と学習能力の最大化のバランスをとることを目的として、差分プライベート(DP)モデル非依存メタラーニング、DP-Reptile、DP-MetaSGDアルゴリズムを含むメタラーニングアルゴリズムのために特別に設計されている。 トレーニングプロセス中にクリッピング閾値を動的に調整することにより、アダプティブクリッピング法は、機密情報の開示をきめ細かな制御を行い、小さなデータセットへのオーバーフィッティングを軽減し、メタラーニングモデルの一般化性能を大幅に改善する。 多様なベンチマークデータセットに関する包括的な実験を通じて、ユーティリティ劣化を最小限に抑えるアプローチの有効性を実証し、既存のプライバシ保存技術と比較して、優れたプライバシユーティリティトレードオフを示す。 Adaptive Clippingの採用は、プライバシ保護による数ショットの学習分野における大きな一歩であり、特にデータ可用性が制限されたシナリオにおいて、現実世界のアプリケーションのためのセキュアで正確なモデルの開発を促進する。

関連論文リスト

• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• Advancing Personalized Federated Learning: Integrative Approaches with AI for Enhanced Privacy and Customization [0.0]
  本稿では,最先端AI技術を用いてPFLを強化する新しい手法を提案する。 本稿では、個々のクライアントモデルの性能を高め、堅牢なプライバシ保護機構を保証するモデルを提案する。 この研究は、真のパーソナライズされたプライバシを重視したAIシステムの新たな時代への道を開くものだ。
  論文  参考訳（メタデータ） (2025-01-30T07:03:29Z)
• Privacy in Fine-tuning Large Language Models: Attacks, Defenses, and Future Directions [11.338466798715906]
  細調整された大規模言語モデル(LLM)は、様々な領域で最先端のパフォーマンスを達成することができる。 本稿では、微調整LDMに関連するプライバシー問題に関する包括的調査を行う。 メンバーシップ推論、データ抽出、バックドア攻撃など、さまざまなプライバシ攻撃に対する脆弱性を強調します。
  論文  参考訳（メタデータ） (2024-12-21T06:41:29Z)
• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Differentially Private Active Learning: Balancing Effective Data Selection and Privacy [11.716423801223776]
  標準学習設定のための差分プライベートアクティブラーニング(DP-AL)を導入する。 本研究では,DP-SGDトレーニングをALに統合することで,プライバシ予算の割り当てやデータ利用において大きな課題が生じることを実証する。 視覚および自然言語処理タスクに関する実験は,DP-ALが特定のデータセットやモデルアーキテクチャの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-01T09:34:06Z)
• The Data Minimization Principle in Machine Learning [61.17813282782266]
  データ最小化は、収集、処理、保持されるデータの量を減らすことを目的としている。 様々な国際データ保護規制によって支持されている。 しかし、厳密な定式化が欠如しているため、その実践的な実装は依然として課題である。
  論文  参考訳（メタデータ） (2024-05-29T19:40:27Z)
• Synergizing Privacy and Utility in Data Analytics Through Advanced Information Theorization [2.28438857884398]
  本稿では,高次元画像データに適したノイズ注入技術,ロバストな特徴抽出のための変分オートエンコーダ(VAE),構造化データプライバシに最適化された期待最大化(EM)アプローチの3つの高度なアルゴリズムを紹介する。 本手法は,機密属性と変換データ間の相互情報を著しく低減し,プライバシーを向上する。 この研究は、さまざまなデータタイプにまたがってプライバシ保護アルゴリズムをデプロイするための柔軟で効果的な戦略を提供することによって、この分野に貢献する。
  論文  参考訳（メタデータ） (2024-04-24T22:58:42Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• A Unified View of Differentially Private Deep Generative Modeling [60.72161965018005]
  プライバシー上の懸念のあるデータには、データアクセスとデータ共有を頻繁に禁止する厳格な規制が伴う。 これらの障害を克服することは、プライバシーに敏感なデータを含む多くの現実世界のアプリケーションシナリオにおいて、技術的進歩の鍵となる。 差分的プライベート(DP)データパブリッシングは、データの衛生化された形式のみを公開する、魅力的なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-09-27T14:38:16Z)
• FRAMU: Attention-based Machine Unlearning using Federated Reinforcement Learning [16.86560475992975]
  FRAMU(Federated Reinforcement Learning)を用いた注意型機械学習について紹介する。 FRAMUには適応学習機構、プライバシー保護技術、最適化戦略が組み込まれている。 実験の結果,FRAMUはベースラインモデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2023-09-19T03:13:17Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。