論文の概要: Hybrid RAG-empowered Multi-modal LLM for Secure Data Management in Internet of Medical Things: A Diffusion-based Contract Approach
- arxiv url: http://arxiv.org/abs/2407.00978v2
- Date: Mon, 09 Dec 2024 02:28:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:50:41.449024
- Title: Hybrid RAG-empowered Multi-modal LLM for Secure Data Management in Internet of Medical Things: A Diffusion-based Contract Approach
- Title(参考訳): 医療用インターネットにおけるセキュアデータ管理のためのハイブリッドRAGを用いたマルチモーダルLCM:拡散型契約手法
- Authors: Cheng Su, Jinbo Wen, Jiawen Kang, Yonghua Wang, Yuanjia Su, Hudan Pan, Zishao Zhong, M. Shamim Hossain,
- Abstract要約: 本稿では,医療データ管理のためのハイブリッドなレトリーバル拡張生成(RAG)を用いた医療MLLMフレームワークを提案する。
我々は、MLLMのデータ鮮度の影響を間接的に評価し、契約理論を利用して医療データ保有者にデータ共有のインセンティブを与えます。
- 参考スコア(独自算出の注目度): 13.952971893313231
- License:
- Abstract: Secure data management and effective data sharing have become paramount in the rapidly evolving healthcare landscape, especially with the growing integration of the Internet of Medical Things (IoMT). The rise of generative artificial intelligence has further elevated Multi-modal Large Language Models (MLLMs) as essential tools for managing and optimizing healthcare data in IoMT. MLLMs can support multi-modal inputs and generate diverse types of content by leveraging large-scale training on vast amounts of multi-modal data. However, critical challenges persist in developing medical MLLMs, including security and freshness issues of healthcare data, affecting the output quality of MLLMs. To this end, in this paper, we propose a hybrid Retrieval-Augmented Generation (RAG)-empowered medical MLLM framework for healthcare data management. This framework leverages a hierarchical cross-chain architecture to facilitate secure data training. Moreover, it enhances the output quality of MLLMs through hybrid RAG, which employs multi-modal metrics to filter various unimodal RAG results and incorporates these retrieval results as additional inputs to MLLMs. Additionally, we employ age of information to indirectly evaluate the data freshness impact of MLLMs and utilize contract theory to incentivize healthcare data holders to share their fresh data, mitigating information asymmetry during data sharing. Finally, we utilize a generative diffusion model-based deep reinforcement learning algorithm to identify the optimal contract for efficient data sharing. Numerical results demonstrate the effectiveness of the proposed schemes, which achieve secure and efficient healthcare data management.
- Abstract(参考訳): セキュアなデータ管理と効果的なデータ共有は、特にIoMT(Internet of Medical Things)の統合が進むにつれて、急速に発展する医療分野において最重要になっている。
生成人工知能の台頭は、IoMTにおける医療データの管理と最適化に不可欠なツールとして、MLLM(Multi-modal Large Language Models)をさらに高めている。
MLLMは、大量のマルチモーダルデータに対する大規模なトレーニングを活用することで、マルチモーダル入力をサポートし、多様なタイプのコンテンツを生成することができる。
しかし、医療データのセキュリティや鮮度といった医療MLLMの開発において重要な課題が続き、MLLMの出力品質に影響を及ぼす。
そこで本稿では,医療データ管理のためのハイブリッド医療MLLMフレームワークであるRetrieval-Augmented Generation(RAG)を提案する。
このフレームワークは階層的なクロスチェーンアーキテクチャを活用して、セキュアなデータトレーニングを容易にする。
さらに、MLLMの出力品質を向上させるために、マルチモーダルメトリクスを用いて様々な単調RAG結果をフィルタリングし、MLLMへの追加入力としてこれらの検索結果を組み込むハイブリッドRAGを用いて、MLLMの出力品質を向上させる。
さらに、MLLMのデータ鮮度の影響を間接的に評価するために情報年齢を採用し、契約理論を利用して医療データ保有者にデータ共有時の情報非対称性を緩和するインセンティブを与える。
最後に、生成拡散モデルに基づく深部強化学習アルゴリズムを用いて、効率的なデータ共有のための最適契約を同定する。
医療データ管理をセキュアかつ効率的に行うための提案手法の有効性を数値解析により実証した。
関連論文リスト
- Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。
このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。
生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
論文 参考訳(メタデータ) (2024-11-21T02:30:53Z) - Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。
ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
論文 参考訳(メタデータ) (2024-10-21T07:19:19Z) - Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
メンバーシップ推論攻撃(MIA)は、特定のインスタンスがターゲットモデルのトレーニングデータの一部であるかどうかを判断することを目的としている。
大規模言語モデル(LLM)にMIAを適用することは、事前学習データの大規模化と、会員シップのあいまいさによって、ユニークな課題をもたらす。
EM-MIAは,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練するLLMの新しいMIA手法である。
論文 参考訳(メタデータ) (2024-10-10T03:31:16Z) - MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。
MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。
提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
論文 参考訳(メタデータ) (2024-09-09T17:44:00Z) - Dynamic Fog Computing for Enhanced LLM Execution in Medical Applications [1.0500536774309863]
大きな言語モデル(LLM)は、大量の異種データを変換し、解釈し、理解することができる。
保護された健康情報(PHI)の繊細な性質は、データプライバシとリモートLLMプラットフォームへの信頼に関する有効な懸念を提起する。
我々は,LLM実行環境を,不透明で集中型のクラウドプロバイダから分散型の動的フォグコンピューティングアーキテクチャに移行することを提案する。
論文 参考訳(メタデータ) (2024-08-08T04:49:21Z) - The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective [53.48484062444108]
モデルとデータの開発は2つの別々のパスではなく、むしろ相互接続であることがわかった。
一方,MLLMはデータ開発に役立てることができるため,MLLMの性能向上に寄与する。
MLLMコミュニティにおけるデータモデル共同開発を促進するために,データモデル共同開発の観点からMLLMに関連する既存の研究を体系的にレビューする。
論文 参考訳(メタデータ) (2024-07-11T15:08:11Z) - Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。
従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-19T12:34:46Z) - A Survey of Large Language Models for Healthcare: from Data, Technology, and Applications to Accountability and Ethics [32.10937977924507]
医療分野における大規模言語モデル(LLM)の利用は、興奮と懸念の両方を引き起こしている。
本調査では、現在開発中のLLMs for Healthcareの能力について概説し、開発プロセスについて解説する。
論文 参考訳(メタデータ) (2023-10-09T13:15:23Z) - Multimodal LLMs for health grounded in individual-specific data [1.8473477867376036]
基礎となる大規模言語モデル(LLM)は、健康を含む幅広い分野のタスクを解く素晴らしい能力を示している。
我々は、個人固有のデータに基づいて、健康のためのマルチモーダルLSMを作成するための一歩を踏み出した。
我々は,HLMが高次元時系列データに加えて,人口統計学的,臨床的特徴を効果的に利用し,疾患リスクを推定できることを示した。
論文 参考訳(メタデータ) (2023-07-18T07:12:46Z) - Patchwork Learning: A Paradigm Towards Integrative Analysis across
Diverse Biomedical Data Sources [40.32772510980854]
パッチワーク学習(PL)とは、異なるデータモダリティからなる異なるデータセットからの情報を統合するパラダイムである。
PLはデータのプライバシを保持しながら、補完的なデータソースの同時利用を可能にする。
本稿では、パッチワーク学習の概念とその医療における実装について紹介し、潜在的な機会と適用可能なデータソースを探求する。
論文 参考訳(メタデータ) (2023-05-10T14:50:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。