論文の概要: BadCLM: Backdoor Attack in Clinical Language Models for Electronic Health Records

• arxiv url: http://arxiv.org/abs/2407.05213v1
• Date: Sat, 6 Jul 2024 23:56:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 20:46:54.636433
• Title: BadCLM: Backdoor Attack in Clinical Language Models for Electronic Health Records
• Title（参考訳）: BadCLM:電子カルテにおける臨床言語モデルにおけるバックドアアタック
• Authors: Weimin Lyu, Zexin Bi, Fusheng Wang, Chao Chen,
• Abstract要約: 革新的注意に基づくバックドア攻撃手法BadCLM(Bad Clinical Language Models)について紹介する。 このテクニックは、モデル内にバックドアをこっそり埋め込んで、事前に定義されたトリガーが入力に存在しているときに、正確に機能しながら誤った予測を発生させる。 我々は,MIMIC IIIデータセットを用いた院内死亡予測タスクを通じてBadCLMの有効性を実証し,モデル整合性を損なう可能性を示した。
• 参考スコア（独自算出の注目度）: 6.497235628214084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The advent of clinical language models integrated into electronic health records (EHR) for clinical decision support has marked a significant advancement, leveraging the depth of clinical notes for improved decision-making. Despite their success, the potential vulnerabilities of these models remain largely unexplored. This paper delves into the realm of backdoor attacks on clinical language models, introducing an innovative attention-based backdoor attack method, BadCLM (Bad Clinical Language Models). This technique clandestinely embeds a backdoor within the models, causing them to produce incorrect predictions when a pre-defined trigger is present in inputs, while functioning accurately otherwise. We demonstrate the efficacy of BadCLM through an in-hospital mortality prediction task with MIMIC III dataset, showcasing its potential to compromise model integrity. Our findings illuminate a significant security risk in clinical decision support systems and pave the way for future endeavors in fortifying clinical language models against such vulnerabilities.
• Abstract（参考訳）: 臨床診断支援のための電子健康記録(EHR)に組み込まれた臨床言語モデルの出現は、臨床ノートの深さを活用して意思決定の改善に寄与した。 彼らの成功にもかかわらず、これらのモデルの潜在的な脆弱性はほとんど未解明のままである。 本稿では,臨床言語モデルに対するバックドアアタックの領域を掘り下げ,革新的なアテンションベースのバックドアアタック手法であるBadCLMを導入する。 このテクニックは、モデル内にバックドアをこっそり埋め込んで、事前に定義されたトリガーが入力に存在しているときに、正確に機能しながら誤った予測を発生させる。 我々は,MIMIC IIIデータセットを用いた院内死亡予測タスクを通じてBadCLMの有効性を実証し,モデル整合性を損なう可能性を示した。 本研究は,臨床診断支援システムにおける重大なセキュリティリスクを浮き彫りにし,そのような脆弱性に対する臨床言語モデルの強化に向けた今後の取り組みの道を開くものである。

関連論文リスト

• Adversarial Attacks on Large Language Models in Medicine [34.17895005922139]
  医療アプリケーションへの大型言語モデルの統合により、医療診断、治療勧告、患者医療の進歩が期待できる。 LLMの敵対的攻撃に対する感受性は重大な脅威となり、繊細な医学的文脈で有害な結果をもたらす可能性がある。 本研究では,3つの医療課題における2種類の敵攻撃に対するLDMの脆弱性について検討した。
  論文  参考訳（メタデータ） (2024-06-18T04:24:30Z)
• Beyond Self-Consistency: Ensemble Reasoning Boosts Consistency and Accuracy of LLMs in Cancer Staging [0.33554367023486936]
  がんのステージング状態は臨床報告で確認できるが、抽出するには自然言語処理が必要である。 臨床指向の大規模言語モデルの進歩により、アルゴリズムの訓練に多大な努力を払わずに、そのような状態を抽出することが期待されている。 本研究では,モデル生成の一貫性向上を目的としたアンサンブル推論手法を提案する。
  論文  参考訳（メタデータ） (2024-04-19T19:34:35Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Safe AI for health and beyond -- Monitoring to transform a health service [51.8524501805308]
  機械学習アルゴリズムの出力を監視するために必要なインフラストラクチャを評価する。 モデルのモニタリングと更新の例を示す2つのシナリオを提示します。
  論文  参考訳（メタデータ） (2023-03-02T17:27:45Z)
• Almanac: Retrieval-Augmented Language Models for Clinical Medicine [1.5505279143287174]
  医療ガイドラインと治療勧告の検索機能を備えた大規模言語モデルフレームワークであるAlmanacを開発した。 5人の医師と医師のパネルで評価された新しい臨床シナリオのデータセットの性能は、事実性の顕著な増加を示している。
  論文  参考訳（メタデータ） (2023-03-01T02:30:11Z)
• What Do You See in this Patient? Behavioral Testing of Clinical NLP Models [69.09570726777817]
  本稿では,入力の変化に関する臨床結果モデルの振る舞いを評価する拡張可能なテストフレームワークを提案する。 私たちは、同じデータを微調整しても、モデル行動は劇的に変化し、最高のパフォーマンスのモデルが常に最も医学的に可能なパターンを学習していないことを示しています。
  論文  参考訳（メタデータ） (2021-11-30T15:52:04Z)
• Literature-Augmented Clinical Outcome Prediction [10.46990394710927]
  EBMとAIベースの臨床モデルとのギャップを埋める技術を導入する。 集中治療(ICU)患者情報に基づいて患者固有の文献を自動的に検索するシステムを提案する。 我々のモデルは,最近の強靭なベースラインと比較して,3つの課題に対する予測精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-11-16T11:19:02Z)
• Clinical Outcome Prediction from Admission Notes using Self-Supervised Knowledge Integration [55.88616573143478]
  臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。 退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。 複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
  論文  参考訳（メタデータ） (2021-02-08T10:26:44Z)
• Privacy-preserving medical image analysis [53.4844489668116]
  医用画像におけるプライバシ保護機械学習(PPML)のためのソフトウェアフレームワークであるPriMIAを提案する。 集合型学習モデルの分類性能は,未発見データセットの人間専門家と比較して有意に良好である。 グラデーションベースのモデル反転攻撃に対するフレームワークのセキュリティを実証的に評価する。
  論文  参考訳（メタデータ） (2020-12-10T13:56:00Z)
• UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced Data [81.00385374948125]
  我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。 UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。 非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。 UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
  論文  参考訳（メタデータ） (2020-10-22T02:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。