論文の概要: Towards Omni-RAG: Comprehensive Retrieval-Augmented Generation for Large Language Models in Medical Applications

• arxiv url: http://arxiv.org/abs/2501.02460v1
• Date: Sun, 05 Jan 2025 07:03:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:07:41.028856
• Title: Towards Omni-RAG: Comprehensive Retrieval-Augmented Generation for Large Language Models in Medical Applications
• Title（参考訳）: Omni-RAGに向けて:医療応用における大規模言語モデルのための総合的検索強化世代
• Authors: Zhe Chen, Yusheng Liao, Shuyang Jiang, Pingjie Wang, Yiqiu Guo, Yanfeng Wang, Yu Wang,
• Abstract要約: 大規模言語モデル(LLM)は、医療上の課題に対処する約束を持っているが、医療知識の限られた統合のために幻覚を引き起こすことが多い。 この課題に対して,多様な知識ソースの属性に合わせてコンテキストに適合したクエリを定式化することが課題である。 既存のアプローチは、ソース計画を見落としているか、モデルがソースと実際のコンテンツに対する期待を誤っているため、効果的にそれを達成することができないかのいずれかである。
• 参考スコア（独自算出の注目度）: 21.534794098692842
• License:
• Abstract: Large language models (LLMs) hold promise for addressing healthcare challenges but often generate hallucinations due to limited integration of medical knowledge. Incorporating external medical knowledge is therefore critical, especially considering the breadth and complexity of medical content, which necessitates effective multi-source knowledge acquisition. We address this challenge by framing it as a source planning problem, where the task is to formulate context-appropriate queries tailored to the attributes of diverse knowledge sources. Existing approaches either overlook source planning or fail to achieve it effectively due to misalignment between the model's expectation of the sources and their actual content. To bridge this gap, we present MedOmniKB, a comprehensive repository comprising multigenre and multi-structured medical knowledge sources. Leveraging these sources, we propose the Source Planning Optimisation (SPO) method, which enhances multi-source utilisation through explicit planning optimisation. Our approach involves enabling an expert model to explore and evaluate potential plans while training a smaller model to learn source alignment using positive and negative planning samples. Experimental results demonstrate that our method substantially improves multi-source planning performance, enabling the optimised small model to achieve state-of-the-art results in leveraging diverse medical knowledge sources.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、医療上の課題に対処する約束を持っているが、医療知識の限られた統合のために幻覚を引き起こすことが多い。 したがって、効果的なマルチソース知識獲得を必要とする医療内容の広さと複雑さを考えると、外部の医療知識を取り入れることが重要である。 この課題に対して,多様な知識ソースの属性に合わせてコンテキストに適合したクエリを定式化することが課題である。 既存のアプローチは、ソース計画を見落としているか、モデルがソースと実際のコンテンツに対する期待を誤っているため、効果的にそれを達成することができないかのいずれかである。 このギャップを埋めるために,多世代・多構造医療知識ソースからなる総合リポジトリであるMedOmniKBを提案する。 提案手法は,複数ソースの利用を明示的計画最適化により促進するソースプランニング最適化 (SPO) 手法を提案する。 当社のアプローチでは、専門家モデルによる潜在的計画の探索と評価を行うとともに、より小さなモデルをトレーニングして、ポジティブかつネガティブな計画サンプルを使用してソースアライメントを学習する。 実験の結果,本手法はマルチソース・プランニング性能を大幅に向上し,最適化された小型モデルで最先端の医療知識を活用できることが示唆された。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Synthetic Knowledge Ingestion: Towards Knowledge Refinement and Injection for Enhancing Large Language Models [1.753683416932648]
  大規模言語モデル(LLM)は、様々な領域における事実知識の収集に長けている。 本研究では,Skiと呼ばれる新しい合成知識摂取法を提案する。 次に、Skiとそのバリエーションを3つの知識注入技術と統合し、言語モデルにおける知識を注入し、洗練する。
  論文  参考訳（メタデータ） (2024-10-12T19:38:09Z)
• LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
  知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。 我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。 LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
  論文  参考訳（メタデータ） (2024-09-29T03:56:21Z)
• FEDKIM: Adaptive Federated Knowledge Injection into Medical Foundation Models [54.09244105445476]
  本研究は,フェデレート・ラーニング・フレームワーク内で医療基盤モデルを拡張するための新しい知識注入手法であるFedKIMを紹介する。 FedKIMは軽量なローカルモデルを活用して、プライベートデータから医療知識を抽出し、この知識を集中基盤モデルに統合する。 7つのモードで12タスクを対象に実験を行い,FedKIMの有効性について検討した。
  論文  参考訳（メタデータ） (2024-08-17T15:42:29Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Enhancing Representation in Medical Vision-Language Foundation Models via Multi-Scale Information Extraction Techniques [41.078761802053535]
  本稿では,医療基盤モデルの性能向上のために,マルチスケール情報を効果的に活用する手法を提案する。 本研究では,6つのオープンソースデータセットに対する提案手法の有効性について検討した。
  論文  参考訳（メタデータ） (2024-01-03T07:22:54Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Knowledge-injected Prompt Learning for Chinese Biomedical Entity Normalization [6.927883826415262]
  本稿では,バイオメディカルエンティティ正規化(BEN)課題に取り組むために,知識注入型プロンプト学習(PL-Knowledge)手法を提案する。 具体的には、候補エンティティマッチング、知識抽出、知識符号化、知識注入、予測出力の5段階からなる。 医療機関に含まれる知識項目を効果的に符号化することにより、追加の知識は、医療機関間の潜伏関係を捕捉するモデルの能力を高める。
  論文  参考訳（メタデータ） (2023-08-23T09:32:40Z)
• Integrated Planning in Hospitals: A Review [0.0]
  本稿では,病院における各種資源の総合的な計画に関する運用研究・管理科学文献に焦点を当てる。 関連文献を収集し,不確実性モデリングや実生活データの利用など,さまざまな側面について分析する。 我々は、異なるリソース中心の統合アプローチを分類し、文献のギャップを指摘するために、高いレベルの分類を提供する。
  論文  参考訳（メタデータ） (2023-07-11T13:47:26Z)
• Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
  医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。 我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:26:19Z)
• Knowledge-Empowered Representation Learning for Chinese Medical Reading Comprehension: Task, Model and Resources [36.960318276653986]
  医療領域を対象としたマルチターゲットMRCタスクを導入し,医療質問に対する回答とそれに対応する文章を同時に予測することを目的とする。 本稿では, 医学知識を事前学習言語モデルに融合させる, タスクのための中国の医療用BERTモデル(CMedBERT)を提案する。 実験の結果,CMedBERTはコンテキスト認識と知識認識のトークン表現を融合することにより,強いベースラインを一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2020-08-24T11:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。