論文の概要: Benchmarking Differential Privacy and Federated Learning for BERT Models

• arxiv url: http://arxiv.org/abs/2106.13973v1
• Date: Sat, 26 Jun 2021 08:52:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 10:12:22.777910
• Title: Benchmarking Differential Privacy and Federated Learning for BERT Models
• Title（参考訳）: BERTモデルの差分プライバシーとフェデレーション学習のベンチマーク
• Authors: Priyam Basu, Tiasa Singha Roy, Rakshit Naidu, Zumrut Muftuoglu, Sahib Singh, Fatemehsadat Mireshghallah
• Abstract要約: うつ病は深刻な医療疾患であり、自分の感情、思考、行動に悪影響を及ぼす可能性がある。 このようなデータの繊細な性質のため、そのようなデータでモデルを扱い、訓練するためのプライバシー対策を講ずる必要がある。 本稿では,分散学習(FL)と集中学習(FL)の双方において,差分プライバシー(DP)の適用が文脈言語モデルの訓練に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 0.6524460254566904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural Language Processing (NLP) techniques can be applied to help with the diagnosis of medical conditions such as depression, using a collection of a person's utterances. Depression is a serious medical illness that can have adverse effects on how one feels, thinks, and acts, which can lead to emotional and physical problems. Due to the sensitive nature of such data, privacy measures need to be taken for handling and training models with such data. In this work, we study the effects that the application of Differential Privacy (DP) has, in both a centralized and a Federated Learning (FL) setup, on training contextualized language models (BERT, ALBERT, RoBERTa and DistilBERT). We offer insights on how to privately train NLP models and what architectures and setups provide more desirable privacy utility trade-offs. We envisage this work to be used in future healthcare and mental health studies to keep medical history private. Therefore, we provide an open-source implementation of this work.
• Abstract（参考訳）: 自然言語処理(NLP)技術は、人の発話の収集を用いてうつ病などの医学的症状の診断を助けることができる。 うつ病は深刻な医療疾患であり、自分の感情や思考、行動に悪影響を及ぼし、感情や身体的な問題を引き起こす。 このようなデータの繊細な性質のため、そのようなデータでモデルを扱い、訓練するためのプライバシー対策を講ずる必要がある。 本研究では,分散学習(FL)と集中学習(FL)の双方において,差分プライバシー(DP)の応用が文脈型言語モデル(BERT, ALBERT, RoBERTa, DistilBERT)の訓練に与える影響について検討する。 NLPモデルをプライベートにトレーニングする方法や、より望ましいプライバシユーティリティトレードオフを提供するアーキテクチャやセットアップについて、洞察を提供する。 この研究は、医療履歴をプライベートに保つために、将来の医療とメンタルヘルスの研究で使われるように助言しています。 そこで本研究のオープンソース実装について述べる。

関連論文リスト

• MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders [59.515827458631975]
  メンタルヘルス障害は世界で最も深刻な病気の1つである。 プライバシーに関する懸念は、パーソナライズされた治療データのアクセシビリティを制限する。 MentalArenaは、言語モデルをトレーニングするためのセルフプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-10-09T13:06:40Z)
• CASE: Efficient Curricular Data Pre-training for Building Assistive Psychology Expert Models [1.0840985826142429]
  本研究では、自然言語処理(NLP)パイプラインを用いて、コンサルティングに使用されるオンラインメンタルヘルスフォーラムのテキストデータを解析する。 フォーラムの投稿を分析することで、これらのパイプラインは、すぐに専門家の注意を必要とするかもしれないユーザーにフラグを付けることができる。 Case-BERTは既存の手法に比べて優れた性能を示し、抑うつのf1スコアは0.91、不安の0.88を達成している。
  論文  参考訳（メタデータ） (2024-06-01T06:17:32Z)
• Vision Through the Veil: Differential Privacy in Federated Learning for Medical Image Classification [15.382184404673389]
  医療におけるディープラーニングアプリケーションの普及は、さまざまな機関にデータ収集を求める。 プライバシー保護メカニズムは、データが自然に敏感である医療画像解析において最重要である。 本研究は,プライバシ保護技術である差分プライバシを,医用画像分類のための統合学習フレームワークに統合することの必要性に対処する。
  論文  参考訳（メタデータ） (2023-06-30T16:48:58Z)
• Privacy-preserving machine learning for healthcare: open challenges and future perspectives [72.43506759789861]
  医療におけるプライバシー保護機械学習(PPML)に関する最近の文献を概観する。 プライバシ保護トレーニングと推論・アズ・ア・サービスに重点を置いています。 このレビューの目的は、医療におけるプライベートかつ効率的なMLモデルの開発をガイドすることである。
  論文  参考訳（メタデータ） (2023-03-27T19:20:51Z)
• GDPR Compliant Collection of Therapist-Patient-Dialogues [48.091760741427656]
  我々は、欧州連合の一般データプライバシ規則の下で、精神医学クリニックでセラピストと患者との対話の収集を始める際に直面した課題について詳しく述べる。 本稿では、手順の各ステップの概要を述べ、この分野でのさらなる研究を動機付ける潜在的な落とし穴を指摘した。
  論文  参考訳（メタデータ） (2022-11-22T15:51:10Z)
• Practical Challenges in Differentially-Private Federated Survival Analysis of Medical Data [57.19441629270029]
  本稿では,ニューラルネットワークの本質的特性を活用し,生存分析モデルの訓練過程を関連づける。 小さな医療データセットと少数のデータセンターの現実的な設定では、このノイズはモデルを収束させるのが難しくなります。 DPFed-post は,私的フェデレート学習方式に後処理の段階を追加する。
  論文  参考訳（メタデータ） (2022-02-08T10:03:24Z)
• Learning Language and Multimodal Privacy-Preserving Markers of Mood from Mobile Data [74.60507696087966]
  精神状態は、先進医療に共通する国でも診断されていない。 人間の行動を監視するための有望なデータソースのひとつは、日々のスマートフォンの利用だ。 本研究では,自殺行動のリスクが高い青少年集団の移動行動のデータセットを用いて,日常生活の行動マーカーについて検討した。
  論文  参考訳（メタデータ） (2021-06-24T17:46:03Z)
• FedMood:Federated Learning on Mobile Health Data for Mood Detection [26.263092039195786]
  うつ病は最も一般的な精神疾患問題の1つです。 従来の集中型機械学習は、患者データを集約する必要がある。 精神疾患患者のデータのプライバシーは厳密に守らなければならない。
  論文  参考訳（メタデータ） (2021-02-06T15:19:08Z)
• MET: Multimodal Perception of Engagement for Telehealth [52.54282887530756]
  ビデオから人間のエンゲージメントレベルを知覚する学習ベースアルゴリズムMETを提案する。 我々はメンタルヘルス患者のエンゲージメント検出のための新しいデータセットMEDICAをリリースした。
  論文  参考訳（メタデータ） (2020-11-17T15:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。