論文の概要: Federated Learning and RAG Integration: A Scalable Approach for Medical Large Language Models

• arxiv url: http://arxiv.org/abs/2412.13720v2
• Date: Wed, 08 Jan 2025 07:03:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:54:12.884517
• Title: Federated Learning and RAG Integration: A Scalable Approach for Medical Large Language Models
• Title（参考訳）: Federated Learning and RAG Integration: 医療用大規模言語モデルのためのスケーラブルなアプローチ
• Authors: Jincheol Jung, Hongju Jeong, Eui-Nam Huh,
• Abstract要約: 本研究では,医学分野におけるLarge Language Models(LLM)の性能を,連合学習フレームワークにRAG(Retrieval-Augmented Generation)システムを統合することによって解析する。
• 参考スコア（独自算出の注目度）: 0.5120567378386615
• License:
• Abstract: This study analyzes the performance of domain-specific Large Language Models (LLMs) for the medical field by integrating Retrieval-Augmented Generation (RAG) systems within a federated learning framework. Leveraging the inherent advantages of federated learning, such as preserving data privacy and enabling distributed computation, this research explores the integration of RAG systems with models trained under varying client configurations to optimize performance. Experimental results demonstrate that the federated learning-based models integrated with RAG systems consistently outperform their non-integrated counterparts across all evaluation metrics. This study highlights the potential of combining federated learning and RAG systems for developing domain-specific LLMs in the medical field, providing a scalable and privacy-preserving solution for enhancing text generation capabilities.
• Abstract（参考訳）: 本研究では,医学分野におけるLarge Language Models(LLM)の性能を,連合学習フレームワークにRAG(Retrieval-Augmented Generation)システムを統合することによって解析する。 本研究は,データプライバシの保護や分散計算の実現など,フェデレート学習の本来の利点を活用して,RAGシステムとさまざまなクライアント構成下でトレーニングされたモデルを統合することで,パフォーマンスを最適化する方法について検討する。 実験の結果,RAGシステムと統合されたフェデレーション学習ベースモデルは,すべての評価指標において,非統合学習モデルよりも一貫して優れていた。 本研究は,医学分野におけるドメイン固有LLM開発のための連合学習システムとRAGシステムを組み合わせる可能性を強調し,テキスト生成能力を向上させるためのスケーラブルでプライバシ保護ソリューションを提供する。

関連論文リスト

• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• Combining Domain-Specific Models and LLMs for Automated Disease Phenotyping from Survey Data [0.0]
  本研究では,ドメイン固有モデルであるBERN2と大規模言語モデル(LLM)を組み合わせることにより,調査データから自動表現性を高める可能性について検討した。 我々は ORIGINS 調査データから,エンティティ認識と正規化モデルであるBERN2 を用いて情報抽出を行った。 BERN2は疾患の言及を抽出・正規化する上で高い性能を示し、特にFew Shot InferenceとRAGオーケストレーションとのLLMの統合により精度が向上した。
  論文  参考訳（メタデータ） (2024-10-28T02:55:03Z)
• Enhancing Medical Learning and Reasoning Systems: A Boxology-Based Comparative Analysis of Design Patterns [0.0]
  本研究では,ハイブリッドAIシステムの設計パターンとその臨床的意思決定における有効性について分析する。 Boxologyの構造化されたモジュール型アポラチは、ハイブリッドAIシステムの開発と分析において、大きなアドバンテージを提供する。
  論文  参考訳（メタデータ） (2024-08-05T12:53:04Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Evaluating the Efficacy of Open-Source LLMs in Enterprise-Specific RAG Systems: A Comparative Study of Performance and Scalability [0.0]
  本稿では,オープンソースの大規模言語モデル(LLM)とその検索・拡張生成(RAG)タスクへの応用について述べる。 この結果から,オープンソースのLCMと効果的な埋め込み技術が組み合わさって,RAGシステムの精度と効率を大幅に向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-06-17T11:22:25Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• GEDI: GEnerative and DIscriminative Training for Self-Supervised Learning [3.6804038214708563]
  我々は最先端の自己教師型学習目標について検討し、確率学習に基づく統一的な定式化を提案する。 我々は、この組み合わせフレームワークをGEDIと呼び、これはGEnerativeおよびDIscriminative Trainingの略である。 GEDIはクラスタリング性能において,既存の自己教師型学習戦略よりも広いマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-27T09:33:50Z)
• Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
  Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。 このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
  論文  参考訳（メタデータ） (2022-02-17T02:01:37Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Shared Space Transfer Learning for analyzing multi-site fMRI data [83.41324371491774]
  マルチボクセルパターン解析(MVPA)は、タスクベース機能磁気共鳴画像(fMRI)データから予測モデルを学習する。 MVPAはよく設計された機能セットと十分なサンプルサイズで機能する。 ほとんどのfMRIデータセットはノイズが多く、高次元で、収集するのに高価で、サンプルサイズも小さい。 本稿では,新しい伝達学習手法として共有空間移動学習(SSTL)を提案する。
  論文  参考訳（メタデータ） (2020-10-24T08:50:26Z)
• Multi-site fMRI Analysis Using Privacy-preserving Federated Learning and Domain Adaptation: ABIDE Results [13.615292855384729]
  高品質なディープラーニングモデルを訓練するには,大量の患者情報を集める必要がある。 患者データのプライバシを保護する必要があるため、複数の機関から中央データベースを組み立てることは困難である。 フェデレート・ラーニング(Federated Learning)は、エンティティのデータを集中化せずに、人口レベルのモデルをトレーニングすることを可能にする。
  論文  参考訳（メタデータ） (2020-01-16T04:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。