論文の概要: Sentinel-Guided Zero-Shot Learning: A Collaborative Paradigm without Real Data Exposure
- arxiv url: http://arxiv.org/abs/2403.09363v1
- Date: Thu, 14 Mar 2024 13:12:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 20:37:19.012219
- Title: Sentinel-Guided Zero-Shot Learning: A Collaborative Paradigm without Real Data Exposure
- Title（参考訳）: センチネルガイドによるゼロショット学習 - 実データ公開のない協調パラダイム
- Authors: Fan Wan, Xingyu Miao, Haoran Duan, Jingjing Deng, Rui Gao, Yang Long,
- Abstract要約: SG-ZSLは、モデルや機密データを交換することなく、効率的なコラボレーションを促進するように設計されている。
教師モデル、学生モデル、両方のモデルエンティティをリンクするジェネレータで構成される。
ZSLやGZSLのタスク、特にホワイトボックスプロトコルでは一貫してパフォーマンスが向上している。
- 参考スコア（独自算出の注目度）: 13.971962047728237
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With increasing concerns over data privacy and model copyrights, especially in the context of collaborations between AI service providers and data owners, an innovative SG-ZSL paradigm is proposed in this work. SG-ZSL is designed to foster efficient collaboration without the need to exchange models or sensitive data. It consists of a teacher model, a student model and a generator that links both model entities. The teacher model serves as a sentinel on behalf of the data owner, replacing real data, to guide the student model at the AI service provider's end during training. Considering the disparity of knowledge space between the teacher and student, we introduce two variants of the teacher model: the omniscient and the quasi-omniscient teachers. Under these teachers' guidance, the student model seeks to match the teacher model's performance and explores domains that the teacher has not covered. To trade off between privacy and performance, we further introduce two distinct security-level training protocols: white-box and black-box, enhancing the paradigm's adaptability. Despite the inherent challenges of real data absence in the SG-ZSL paradigm, it consistently outperforms in ZSL and GZSL tasks, notably in the white-box protocol. Our comprehensive evaluation further attests to its robustness and efficiency across various setups, including stringent black-box training protocol.
- Abstract（参考訳）: データプライバシとモデル著作権に対する懸念の高まり、特にAIサービスプロバイダとデータ所有者のコラボレーションの文脈において、この研究で革新的なSG-ZSLパラダイムが提案されている。
SG-ZSLは、モデルや機密データを交換することなく、効率的なコラボレーションを促進するように設計されている。
教師モデル、学生モデル、両方のモデルエンティティをリンクするジェネレータで構成される。
教師モデルは、データ所有者に代わってセンチネルとして機能し、実際のデータを置き換えることで、トレーニング中のAIサービスプロバイダの終了時に学生モデルをガイドする。
教師と生徒の知識空間の相違を考慮すると,教師モデルにはオムニエンスと準オムニエンスという2つの変種を導入する。
これらの教師の指導のもと、学生モデルは教師モデルのパフォーマンスにマッチし、教師がカバーしていない領域を探索する。
さらに、プライバシとパフォーマンスのトレードオフとして、ホワイトボックスとブラックボックスという2つの異なるセキュリティレベルのトレーニングプロトコルを導入し、パラダイムの適応性を高めます。
SG-ZSLパラダイムにおける真のデータ欠如という固有の課題にもかかわらず、ZSLやGZSLタスク、特にホワイトボックスプロトコルでは一貫してパフォーマンスが向上している。
包括的評価は、厳密なブラックボックストレーニングプロトコルを含む様々な設定における堅牢性と効率性をさらに証明する。
関連論文リスト
- Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。
SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。
翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
論文 参考訳（メタデータ） (2024-10-15T06:51:25Z) - Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。
本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。
OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
論文 参考訳（メタデータ） (2024-09-19T07:05:26Z) - CLDA: Collaborative Learning for Enhanced Unsupervised Domain Adaptation [15.97351561456467]
コラボレーティブ・ラーニング(Collaborative Learning)とは、学生モデルを用いて教師の非塩分パラメータを更新し、同時に生徒のパフォーマンスを向上させる手法である。
CLDAは、教師の+0.7% mIoUと生徒の+1.4% mIoUを、GTAのベースラインモデルとシティスケープのベースラインモデルに比較して改善する。
論文 参考訳（メタデータ） (2024-09-04T13:35:15Z) - Interactive DualChecker for Mitigating Hallucinations in Distilling Large Language Models [7.632217365130212]
大規模言語モデル(LLM)は、さまざまな機械学習(ML)タスクにまたがる例外的な機能を示している。
これらのモデルは、特に不完全な知識を持つ領域において幻覚を生み出すことができる。
幻覚を緩和し,教師モデルと学生モデルの両方のパフォーマンスを向上させるために設計された,革新的なフレームワークであるDualCheckerを紹介する。
論文 参考訳（メタデータ） (2024-08-22T12:04:04Z) - DriveAdapter: Breaking the Coupling Barrier of Perception and Planning
in End-to-End Autonomous Driving [64.57963116462757]
最先端の手法は通常、教師-学生のパラダイムに従う。
学生モデルは、生のセンサーデータのみにアクセスし、教師モデルによって収集されたデータに基づいて行動クローニングを行う。
本稿では,学生(知覚)と教師(計画)モジュール間の機能アライメント目的関数を持つアダプタを用いたDriveAdapterを提案する。
論文 参考訳（メタデータ） (2023-08-01T09:21:53Z) - Distantly-Supervised Named Entity Recognition with Adaptive Teacher
Learning and Fine-grained Student Ensemble [56.705249154629264]
NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。
本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。
微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
論文 参考訳（メタデータ） (2022-12-13T12:14:09Z) - Private Semi-supervised Knowledge Transfer for Deep Learning from Noisy
Labels [21.374707481630697]
本稿では,現在進行しているノイズラベル学習機構とPATEフレームワークを組み合わせたPATE++を提案する。
GAN(Generative Adversarial Nets)の新たな構造は,それらを効果的に統合するために開発されている。
さらに,半教師付きモデルトレーニングのための新しいノイズラベル検出機構を開発し,ノイズラベルを用いたトレーニング時の生徒モデル性能をさらに向上させる。
論文 参考訳（メタデータ） (2022-11-03T07:33:49Z) - Absolute Zero-Shot Learning [14.187187391391882]
鍵となるイノベーションは、データ漏洩なしにAZSLモデルのトレーニングをガイドするデータ保護として、教師モデルを巻き込むことです。
AZSLタスクにおけるブラックボックスとホワイトボックスのシナリオをモデルセキュリティの異なるレベルとして検討する。
我々のフレームワークは、ホワイトボックスのシナリオで最先端のZSLとGZSLのパフォーマンスを維持することができる。
論文 参考訳（メタデータ） (2022-02-23T05:33:21Z) - Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。
生徒は、合成された入力データを通じて教師の出力を訓練する。
その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
論文 参考訳（メタデータ） (2021-02-01T14:38:54Z) - FaceLeaks: Inference Attacks against Transfer Learning Models via
Black-box Queries [2.7564955518050693]
教師モデルと直接対話することなく,個人情報を漏らしたり推測したりできるかどうかを検討する。
集約レベル情報から推測する新しい手法を提案する。
本研究は,情報漏洩が現実の状況で広く利用されている伝達学習フレームワークに対する真のプライバシー上の脅威であることを示す。
論文 参考訳（メタデータ） (2020-10-27T03:02:40Z) - Differentially Private Deep Learning with Smooth Sensitivity [144.31324628007403]
プライバシーに関する懸念を、差分プライバシーのレンズを通して研究する。
このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。
過去の研究で使われた最も重要なテクニックの1つは、教師モデルのアンサンブルであり、ノイズの多い投票手順に基づいて生徒に情報を返す。
本研究では,イミュータブルノイズArgMaxと呼ばれるスムーズな感性を有する新しい投票機構を提案する。これは,ある条件下では,学生に伝達される有用な情報に影響を与えることなく,教師から非常に大きなランダムノイズを発生させることができる。
論文 参考訳（メタデータ） (2020-03-01T15:38:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。