論文の概要: Sentinel-Guided Zero-Shot Learning: A Collaborative Paradigm without Real Data Exposure

• arxiv url: http://arxiv.org/abs/2403.09363v1
• Date: Thu, 14 Mar 2024 13:12:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-15 20:37:19.012219
• Title: Sentinel-Guided Zero-Shot Learning: A Collaborative Paradigm without Real Data Exposure
• Title（参考訳）: センチネルガイドによるゼロショット学習 - 実データ公開のない協調パラダイム
• Authors: Fan Wan, Xingyu Miao, Haoran Duan, Jingjing Deng, Rui Gao, Yang Long,
• Abstract要約: SG-ZSLは、モデルや機密データを交換することなく、効率的なコラボレーションを促進するように設計されている。 教師モデル、学生モデル、両方のモデルエンティティをリンクするジェネレータで構成される。 ZSLやGZSLのタスク、特にホワイトボックスプロトコルでは一貫してパフォーマンスが向上している。
• 参考スコア（独自算出の注目度）: 13.971962047728237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With increasing concerns over data privacy and model copyrights, especially in the context of collaborations between AI service providers and data owners, an innovative SG-ZSL paradigm is proposed in this work. SG-ZSL is designed to foster efficient collaboration without the need to exchange models or sensitive data. It consists of a teacher model, a student model and a generator that links both model entities. The teacher model serves as a sentinel on behalf of the data owner, replacing real data, to guide the student model at the AI service provider's end during training. Considering the disparity of knowledge space between the teacher and student, we introduce two variants of the teacher model: the omniscient and the quasi-omniscient teachers. Under these teachers' guidance, the student model seeks to match the teacher model's performance and explores domains that the teacher has not covered. To trade off between privacy and performance, we further introduce two distinct security-level training protocols: white-box and black-box, enhancing the paradigm's adaptability. Despite the inherent challenges of real data absence in the SG-ZSL paradigm, it consistently outperforms in ZSL and GZSL tasks, notably in the white-box protocol. Our comprehensive evaluation further attests to its robustness and efficiency across various setups, including stringent black-box training protocol.
• Abstract（参考訳）: データプライバシとモデル著作権に対する懸念の高まり、特にAIサービスプロバイダとデータ所有者のコラボレーションの文脈において、この研究で革新的なSG-ZSLパラダイムが提案されている。 SG-ZSLは、モデルや機密データを交換することなく、効率的なコラボレーションを促進するように設計されている。 教師モデル、学生モデル、両方のモデルエンティティをリンクするジェネレータで構成される。 教師モデルは、データ所有者に代わってセンチネルとして機能し、実際のデータを置き換えることで、トレーニング中のAIサービスプロバイダの終了時に学生モデルをガイドする。 教師と生徒の知識空間の相違を考慮すると,教師モデルにはオムニエンスと準オムニエンスという2つの変種を導入する。 これらの教師の指導のもと、学生モデルは教師モデルのパフォーマンスにマッチし、教師がカバーしていない領域を探索する。 さらに、プライバシとパフォーマンスのトレードオフとして、ホワイトボックスとブラックボックスという2つの異なるセキュリティレベルのトレーニングプロトコルを導入し、パラダイムの適応性を高めます。 SG-ZSLパラダイムにおける真のデータ欠如という固有の課題にもかかわらず、ZSLやGZSLタスク、特にホワイトボックスプロトコルでは一貫してパフォーマンスが向上している。 包括的評価は、厳密なブラックボックストレーニングプロトコルを含む様々な設定における堅牢性と効率性をさらに証明する。

関連論文リスト

• Aligning Teacher with Student Preferences for Tailored Training Data Generation [40.85451525264779]
  StudenT PreferencEs を用いた Aligning TeacheR という ARTE を提案する。 具体的には,教師モデルから質問文と合理性を抽出し,これらの質問文と合理性に関する学生の嗜好を収集する。 最後に,教師モデルと協調する第1ステップを繰り返すことで,対象課題における生徒モデルに適した訓練例を提示する。
  論文  参考訳（メタデータ） (2024-06-27T14:51:17Z)
• DriveAdapter: Breaking the Coupling Barrier of Perception and Planning in End-to-End Autonomous Driving [64.57963116462757]
  最先端の手法は通常、教師-学生のパラダイムに従う。 学生モデルは、生のセンサーデータのみにアクセスし、教師モデルによって収集されたデータに基づいて行動クローニングを行う。 本稿では,学生(知覚)と教師(計画)モジュール間の機能アライメント目的関数を持つアダプタを用いたDriveAdapterを提案する。
  論文  参考訳（メタデータ） (2023-08-01T09:21:53Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Private Semi-supervised Knowledge Transfer for Deep Learning from Noisy Labels [21.374707481630697]
  本稿では,現在進行しているノイズラベル学習機構とPATEフレームワークを組み合わせたPATE++を提案する。 GAN(Generative Adversarial Nets)の新たな構造は,それらを効果的に統合するために開発されている。 さらに,半教師付きモデルトレーニングのための新しいノイズラベル検出機構を開発し,ノイズラベルを用いたトレーニング時の生徒モデル性能をさらに向上させる。
  論文  参考訳（メタデータ） (2022-11-03T07:33:49Z)
• Federated Zero-Shot Learning for Visual Recognition [55.65879596326147]
  本稿では,Federated Zero-Shot Learning FedZSLフレームワークを提案する。 FedZSLは、エッジデバイス上の分散データから中心的なモデルを学ぶ。 FedZSLの有効性と堅牢性は、3つのゼロショットベンチマークデータセットで実施された広範な実験によって実証された。
  論文  参考訳（メタデータ） (2022-09-05T14:49:34Z)
• Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation [70.2166826794421]
  本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。 また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。 我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
  論文  参考訳（メタデータ） (2022-03-05T17:36:17Z)
• Absolute Zero-Shot Learning [14.187187391391882]
  鍵となるイノベーションは、データ漏洩なしにAZSLモデルのトレーニングをガイドするデータ保護として、教師モデルを巻き込むことです。 AZSLタスクにおけるブラックボックスとホワイトボックスのシナリオをモデルセキュリティの異なるレベルとして検討する。 我々のフレームワークは、ホワイトボックスのシナリオで最先端のZSLとGZSLのパフォーマンスを維持することができる。
  論文  参考訳（メタデータ） (2022-02-23T05:33:21Z)
• Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
  我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。 生徒は、合成された入力データを通じて教師の出力を訓練する。 その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T14:38:54Z)
• FaceLeaks: Inference Attacks against Transfer Learning Models via Black-box Queries [2.7564955518050693]
  教師モデルと直接対話することなく,個人情報を漏らしたり推測したりできるかどうかを検討する。 集約レベル情報から推測する新しい手法を提案する。 本研究は,情報漏洩が現実の状況で広く利用されている伝達学習フレームワークに対する真のプライバシー上の脅威であることを示す。
  論文  参考訳（メタデータ） (2020-10-27T03:02:40Z)
• Differentially Private Deep Learning with Smooth Sensitivity [144.31324628007403]
  プライバシーに関する懸念を、差分プライバシーのレンズを通して研究する。 このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。 過去の研究で使われた最も重要なテクニックの1つは、教師モデルのアンサンブルであり、ノイズの多い投票手順に基づいて生徒に情報を返す。 本研究では,イミュータブルノイズArgMaxと呼ばれるスムーズな感性を有する新しい投票機構を提案する。これは,ある条件下では,学生に伝達される有用な情報に影響を与えることなく,教師から非常に大きなランダムノイズを発生させることができる。
  論文  参考訳（メタデータ） (2020-03-01T15:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。