論文の概要: Private Semi-supervised Knowledge Transfer for Deep Learning from Noisy Labels

• arxiv url: http://arxiv.org/abs/2211.01628v1
• Date: Thu, 3 Nov 2022 07:33:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 14:20:26.998280
• Title: Private Semi-supervised Knowledge Transfer for Deep Learning from Noisy Labels
• Title（参考訳）: 雑音ラベルからの深層学習のための私的半教師付き知識伝達
• Authors: Qiuchen Zhang, Jing Ma, Jian Lou, Li Xiong, and Xiaoqian Jiang
• Abstract要約: 本稿では,現在進行しているノイズラベル学習機構とPATEフレームワークを組み合わせたPATE++を提案する。 GAN(Generative Adversarial Nets)の新たな構造は,それらを効果的に統合するために開発されている。 さらに,半教師付きモデルトレーニングのための新しいノイズラベル検出機構を開発し,ノイズラベルを用いたトレーニング時の生徒モデル性能をさらに向上させる。
• 参考スコア（独自算出の注目度）: 21.374707481630697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models trained on large-scale data have achieved encouraging performance in many real-world tasks. Meanwhile, publishing those models trained on sensitive datasets, such as medical records, could pose serious privacy concerns. To counter these issues, one of the current state-of-the-art approaches is the Private Aggregation of Teacher Ensembles, or PATE, which achieved promising results in preserving the utility of the model while providing a strong privacy guarantee. PATE combines an ensemble of "teacher models" trained on sensitive data and transfers the knowledge to a "student" model through the noisy aggregation of teachers' votes for labeling unlabeled public data which the student model will be trained on. However, the knowledge or voted labels learned by the student are noisy due to private aggregation. Learning directly from noisy labels can significantly impact the accuracy of the student model. In this paper, we propose the PATE++ mechanism, which combines the current advanced noisy label training mechanisms with the original PATE framework to enhance its accuracy. A novel structure of Generative Adversarial Nets (GANs) is developed in order to integrate them effectively. In addition, we develop a novel noisy label detection mechanism for semi-supervised model training to further improve student model performance when training with noisy labels. We evaluate our method on Fashion-MNIST and SVHN to show the improvements on the original PATE on all measures.
• Abstract（参考訳）: 大規模データでトレーニングされたディープラーニングモデルは、多くの現実世界のタスクでパフォーマンス向上を達成している。 一方、医療記録などの機密データセットでトレーニングされたモデルを公開することは、プライバシーに関する深刻な懸念を引き起こす可能性がある。 これらの問題に対処するために、現在最先端のアプローチの1つは、強力なプライバシ保証を提供しながらモデルの実用性を維持するという有望な結果をもたらす教師の集まりのプライベートアグリゲーション(PATE)である。 PATEは、センシティブなデータに基づいて訓練された「教師モデル」のアンサンブルを結合し、学生モデルが訓練する未ラベルの公開データをラベル付けする教師の投票の騒々しい集計を通じて、知識を「学生モデル」に伝達する。 しかし、学生が学習した知識や投票されたラベルは、私的な集合のためうるさい。 ノイズラベルから直接学習することは、学生モデルの精度に大きな影響を及ぼす。 本稿では,現在進行している雑音ラベル学習機構とPATEフレームワークを組み合わせたPATE++機構を提案する。 GAN(Generative Adversarial Nets)の新たな構造を開発し,それらを効果的に統合する。 さらに,半教師モデル学習のための新しい雑音ラベル検出機構を開発し,雑音ラベル学習時の学習モデル性能をさらに向上させる。 本手法をFashion-MNISTとSVHNで評価し,従来のPATEの改善を示す。

関連論文リスト

• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• Self-Regulated Data-Free Knowledge Amalgamation for Text Classification [9.169836450935724]
  そこで我々は,複数の教師モデルから学習できる軽量な学生ネットワークを構築した。 そこで本研究では,各教師に適したテキストデータを生成するモデリングフレームワークSTRATANETを提案する。 本手法は,ラベルやドメインの異なる3つのベンチマークテキスト分類データセットを用いて評価する。
  論文  参考訳（メタデータ） (2024-06-16T21:13:30Z)
• Few Shot Rationale Generation using Self-Training with Dual Teachers [4.91890875296663]
  予測ラベルのフリーテキスト説明も生成するセルフリレーゼーションモデルは、信頼できるAIアプリケーションを構築する上で重要なツールである。 タスク予測と合理化のための2つの専門教師モデルを学ぶ。 新しい損失関数Masked Label Regularization (MLR) を定式化した。
  論文  参考訳（メタデータ） (2023-06-05T23:57:52Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition [51.20130423303659]
  本稿では,Poissonサブサンプルを用いたアンサンブル学習フレームワークを提案する。 DP下での強化を通じて、トレーニングデータから派生した学生モデルは、プライバシ保護なしでトレーニングされたモデルからほとんどモデル劣化を受けない。 提案手法は,<i>Poisson sub-sampling</i>によるプライバシ予算の増幅を行い,同じレベルのプライバシ予算を達成するためにノイズの少ないターゲット予測モデルをトレーニングする。
  論文  参考訳（メタデータ） (2022-10-12T16:34:08Z)
• ALM-KD: Knowledge Distillation with noisy labels via adaptive loss mixing [25.49637460661711]
  知識蒸留は、教師付き環境で学生モデルを訓練するために、事前訓練されたモデルの出力を使用する技術である。 KD中の適応損失混合方式を用いてこの問題に対処する。 提案手法は, 標準KD設定, マルチ教師, 自己蒸留設定において, 提案手法を用いて得られた性能向上を示す。
  論文  参考訳（メタデータ） (2022-02-07T14:53:22Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)
• Deep k-NN for Noisy Labels [55.97221021252733]
  予備モデルのロジット層上での単純な$k$-nearest近傍フィルタリング手法により、ラベルの誤りを除去し、最近提案された多くの手法よりも正確なモデルを生成することができることを示す。
  論文  参考訳（メタデータ） (2020-04-26T05:15:36Z)
• Differentially Private Deep Learning with Smooth Sensitivity [144.31324628007403]
  プライバシーに関する懸念を、差分プライバシーのレンズを通して研究する。 このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。 過去の研究で使われた最も重要なテクニックの1つは、教師モデルのアンサンブルであり、ノイズの多い投票手順に基づいて生徒に情報を返す。 本研究では,イミュータブルノイズArgMaxと呼ばれるスムーズな感性を有する新しい投票機構を提案する。これは,ある条件下では,学生に伝達される有用な情報に影響を与えることなく,教師から非常に大きなランダムノイズを発生させることができる。
  論文  参考訳（メタデータ） (2020-03-01T15:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。