論文の概要: Benchmarking Differential Privacy and Federated Learning for BERT Models
- arxiv url: http://arxiv.org/abs/2106.13973v1
- Date: Sat, 26 Jun 2021 08:52:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-30 10:12:22.777910
- Title: Benchmarking Differential Privacy and Federated Learning for BERT Models
- Title(参考訳): BERTモデルの差分プライバシーとフェデレーション学習のベンチマーク
- Authors: Priyam Basu, Tiasa Singha Roy, Rakshit Naidu, Zumrut Muftuoglu, Sahib
Singh, Fatemehsadat Mireshghallah
- Abstract要約: うつ病は深刻な医療疾患であり、自分の感情、思考、行動に悪影響を及ぼす可能性がある。
このようなデータの繊細な性質のため、そのようなデータでモデルを扱い、訓練するためのプライバシー対策を講ずる必要がある。
本稿では,分散学習(FL)と集中学習(FL)の双方において,差分プライバシー(DP)の適用が文脈言語モデルの訓練に与える影響について検討する。
- 参考スコア(独自算出の注目度): 0.6524460254566904
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural Language Processing (NLP) techniques can be applied to help with the
diagnosis of medical conditions such as depression, using a collection of a
person's utterances. Depression is a serious medical illness that can have
adverse effects on how one feels, thinks, and acts, which can lead to emotional
and physical problems. Due to the sensitive nature of such data, privacy
measures need to be taken for handling and training models with such data. In
this work, we study the effects that the application of Differential Privacy
(DP) has, in both a centralized and a Federated Learning (FL) setup, on
training contextualized language models (BERT, ALBERT, RoBERTa and DistilBERT).
We offer insights on how to privately train NLP models and what architectures
and setups provide more desirable privacy utility trade-offs. We envisage this
work to be used in future healthcare and mental health studies to keep medical
history private. Therefore, we provide an open-source implementation of this
work.
- Abstract(参考訳): 自然言語処理(NLP)技術は、人の発話の収集を用いてうつ病などの医学的症状の診断を助けることができる。
うつ病は深刻な医療疾患であり、自分の感情や思考、行動に悪影響を及ぼし、感情や身体的な問題を引き起こす。
このようなデータの繊細な性質のため、そのようなデータでモデルを扱い、訓練するためのプライバシー対策を講ずる必要がある。
本研究では,分散学習(FL)と集中学習(FL)の双方において,差分プライバシー(DP)の応用が文脈型言語モデル(BERT, ALBERT, RoBERTa, DistilBERT)の訓練に与える影響について検討する。
NLPモデルをプライベートにトレーニングする方法や、より望ましいプライバシユーティリティトレードオフを提供するアーキテクチャやセットアップについて、洞察を提供する。
この研究は、医療履歴をプライベートに保つために、将来の医療とメンタルヘルスの研究で使われるように助言しています。
そこで本研究のオープンソース実装について述べる。
関連論文リスト
- Vision Through the Veil: Differential Privacy in Federated Learning for
Medical Image Classification [15.382184404673389]
医療におけるディープラーニングアプリケーションの普及は、さまざまな機関にデータ収集を求める。
プライバシー保護メカニズムは、データが自然に敏感である医療画像解析において最重要である。
本研究は,プライバシ保護技術である差分プライバシを,医用画像分類のための統合学習フレームワークに統合することの必要性に対処する。
論文 参考訳(メタデータ) (2023-06-30T16:48:58Z) - DEPAC: a Corpus for Depression and Anxiety Detection from Speech [3.2154432166999465]
本稿では、うつ病と不安スクリーニングツールの確立したしきい値に基づいてラベル付けされた、心的苦痛分析オーディオデータセットDEPACを紹介する。
この大きなデータセットは、個人ごとの複数の音声タスクと、関連する人口統計情報から構成される。
人間の音声における精神疾患の徴候の同定に有効な,手作業による音響的特徴と言語的特徴からなる特徴セットを提案する。
論文 参考訳(メタデータ) (2023-06-20T12:21:06Z) - Privacy-preserving machine learning for healthcare: open challenges and
future perspectives [72.43506759789861]
医療におけるプライバシー保護機械学習(PPML)に関する最近の文献を概観する。
プライバシ保護トレーニングと推論・アズ・ア・サービスに重点を置いています。
このレビューの目的は、医療におけるプライベートかつ効率的なMLモデルの開発をガイドすることである。
論文 参考訳(メタデータ) (2023-03-27T19:20:51Z) - Private, fair and accurate: Training large-scale, privacy-preserving AI
models in medical imaging [49.588766426499184]
我々は,AIモデルのプライバシ保護トレーニングが,非プライベートトレーニングと比較して精度と公平性に与える影響を評価した。
我々の研究は、実際の臨床データセットの困難な現実的な状況下では、診断深層学習モデルのプライバシー保護トレーニングは、優れた診断精度と公正さで可能であることを示しています。
論文 参考訳(メタデータ) (2023-02-03T09:49:13Z) - GDPR Compliant Collection of Therapist-Patient-Dialogues [48.091760741427656]
我々は、欧州連合の一般データプライバシ規則の下で、精神医学クリニックでセラピストと患者との対話の収集を始める際に直面した課題について詳しく述べる。
本稿では、手順の各ステップの概要を述べ、この分野でのさらなる研究を動機付ける潜在的な落とし穴を指摘した。
論文 参考訳(メタデータ) (2022-11-22T15:51:10Z) - Towards Knowledge-based Mining of Mental Disorder Patterns from Textual
Data [0.0]
メンタルヘルス障害は、すべての国の経済と健康に深刻な影響をもたらす可能性がある。
精神疾患の早期徴候の特定は不可欠である。
例えば、うつ病は個人の自殺リスクを高める可能性がある。
論文 参考訳(メタデータ) (2022-07-07T10:04:43Z) - Practical Challenges in Differentially-Private Federated Survival
Analysis of Medical Data [57.19441629270029]
本稿では,ニューラルネットワークの本質的特性を活用し,生存分析モデルの訓練過程を関連づける。
小さな医療データセットと少数のデータセンターの現実的な設定では、このノイズはモデルを収束させるのが難しくなります。
DPFed-post は,私的フェデレート学習方式に後処理の段階を追加する。
論文 参考訳(メタデータ) (2022-02-08T10:03:24Z) - Learning Language and Multimodal Privacy-Preserving Markers of Mood from
Mobile Data [74.60507696087966]
精神状態は、先進医療に共通する国でも診断されていない。
人間の行動を監視するための有望なデータソースのひとつは、日々のスマートフォンの利用だ。
本研究では,自殺行動のリスクが高い青少年集団の移動行動のデータセットを用いて,日常生活の行動マーカーについて検討した。
論文 参考訳(メタデータ) (2021-06-24T17:46:03Z) - FedMood:Federated Learning on Mobile Health Data for Mood Detection [26.263092039195786]
うつ病は最も一般的な精神疾患問題の1つです。
従来の集中型機械学習は、患者データを集約する必要がある。
精神疾患患者のデータのプライバシーは厳密に守らなければならない。
論文 参考訳(メタデータ) (2021-02-06T15:19:08Z) - MET: Multimodal Perception of Engagement for Telehealth [52.54282887530756]
ビデオから人間のエンゲージメントレベルを知覚する学習ベースアルゴリズムMETを提案する。
我々はメンタルヘルス患者のエンゲージメント検出のための新しいデータセットMEDICAをリリースした。
論文 参考訳(メタデータ) (2020-11-17T15:18:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。