論文の概要: PatientDx: Merging Large Language Models for Protecting Data-Privacy in Healthcare

• arxiv url: http://arxiv.org/abs/2504.17360v1
• Date: Thu, 24 Apr 2025 08:21:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.295159
• Title: PatientDx: Merging Large Language Models for Protecting Data-Privacy in Healthcare
• Title（参考訳）: patientDx:医療におけるデータプライバシ保護のための大規模言語モデルの統合
• Authors: Jose G. Moreno, Jesus Lovon, M'Rick Robin-Charlet, Christine Damase-Michel, Lynda Tamine,
• Abstract要約: 大規模言語モデル(LLM)の微調整は、与えられたタスクにおけるモデルパフォーマンスを改善するためのデフォルトのプラクティスとなっている。 patientDxはモデルマージのフレームワークであり、患者データへの微調整や適応を必要とせずに、健康予測タスクに有効なLCMを設計できる。
• 参考スコア（独自算出の注目度）: 2.1046377530356764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning of Large Language Models (LLMs) has become the default practice for improving model performance on a given task. However, performance improvement comes at the cost of training on vast amounts of annotated data which could be sensitive leading to significant data privacy concerns. In particular, the healthcare domain is one of the most sensitive domains exposed to data privacy issues. In this paper, we present PatientDx, a framework of model merging that allows the design of effective LLMs for health-predictive tasks without requiring fine-tuning nor adaptation on patient data. Our proposal is based on recently proposed techniques known as merging of LLMs and aims to optimize a building block merging strategy. PatientDx uses a pivotal model adapted to numerical reasoning and tunes hyperparameters on examples based on a performance metric but without training of the LLM on these data. Experiments using the mortality tasks of the MIMIC-IV dataset show improvements up to 7% in terms of AUROC when compared to initial models. Additionally, we confirm that when compared to fine-tuned models, our proposal is less prone to data leak problems without hurting performance. Finally, we qualitatively show the capabilities of our proposal through a case study. Our best model is publicly available at https://huggingface.co/ Jgmorenof/mistral\_merged\_0\_4.
• Abstract（参考訳）: 大規模言語モデル(LLM)の微調整は、与えられたタスクにおけるモデルパフォーマンスを改善するためのデフォルトのプラクティスとなっている。 しかし、パフォーマンスの改善は、大量の注釈付きデータをトレーニングするコストが伴うため、データプライバシの重大な懸念につながる可能性がある。 特に、医療ドメインは、データプライバシの問題に最も敏感なドメインの1つです。 本稿では、患者データへの微調整や適応を必要とせずに、健康予測タスクに有効なLCMを設計できるモデルマージフレームワークであるPatentDxを提案する。 提案手法は,最近提案されたLLMのマージ技術に基づいて,ビルディングブロックマージ戦略の最適化を目的とする。 patientDxは、数値的推論に適応したピボットモデルを使用し、パフォーマンス指標に基づいた例に基づいてハイパーパラメータをチューニングするが、これらのデータ上でLLMのトレーニングは行わない。 MIMIC-IVデータセットの死亡タスクを用いた実験では、初期モデルと比較してAUROCの7%の改善が見られた。 さらに、微調整モデルと比較して、我々の提案は、性能を損なうことなく、データリークの問題が少ないことを確認します。 最後に、ケーススタディを通じて、提案する能力について質的に示す。 私たちの最高のモデルはhttps://huggingface.co/Jgmorenof/mistral\_merged\_0\_4で公開されています。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Masked Clinical Modelling: A Framework for Synthetic and Augmented Survival Data Generation [1.7769033811751995]
  本稿では,マスク付き言語モデリングに触発されたMCM(Masked Clinical Modelling)について紹介する。 MCMはデータ合成と条件付きデータ拡張の両方のために設計されている。 我々は,このプロトタイプをCox Proportional Hazardsモデルを用いてWHAS500データセット上で評価する。
  論文  参考訳（メタデータ） (2024-10-22T08:38:46Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Is larger always better? Evaluating and prompting large language models for non-generative medical tasks [11.799956298563844]
  本研究は、GPTベースのLCM、BERTベースのモデル、従来の臨床予測モデルなど、さまざまなモデルをベンチマークする。 我々は,寛容と予測,疾患階層再構築,生物医学的文章マッチングといった課題に焦点をあてた。 その結果, LLMは, 適切に設計されたプロンプト戦略を用いて, 構造化EHRデータに対して頑健なゼロショット予測能力を示した。 構造化されていない医療用テキストでは、LLMは細調整されたBERTモデルよりも優れておらず、教師なしタスクと教師なしタスクの両方に優れていた。
  論文  参考訳（メタデータ） (2024-07-26T06:09:10Z)
• Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
  大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• Large Language Model Distilling Medication Recommendation Model [58.94186280631342]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• How Good Are Synthetic Medical Images? An Empirical Study with Lung Ultrasound [0.3312417881789094]
  生成モデルを使用して合成トレーニングデータを追加することで、データの不足に対処するための低コストな方法が提供される。 合成データと実データの両方によるトレーニングは、実データのみによるトレーニングよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-05T15:42:53Z)
• Improving Small Language Models on PubMedQA via Generative Data Augmentation [4.96649519549027]
  大規模言語モデル (LLM) は自然言語処理の分野で顕著な進歩を遂げている。 小型言語モデル(SLM)はその効率で知られているが、限られた能力と訓練データに悩まされることが多い。 医療領域におけるSLMの改善を目的とした,LLMに基づく生成データ拡張を用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-12T23:49:23Z)
• An Investigation of Smart Contract for Collaborative Machine Learning Model Training [3.5679973993372642]
  協調機械学習(CML)はビッグデータ時代において様々な分野に浸透してきた。 MLモデルのトレーニングには大量の高品質なデータが必要であるため、データのプライバシに関する懸念を取り除く必要がある。 ブロックチェーンに基づいて、スマートコントラクトはデータ保存とバリデーションの自動実行を可能にする。
  論文  参考訳（メタデータ） (2022-09-12T04:25:01Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。