論文の概要: PromptLink: Leveraging Large Language Models for Cross-Source Biomedical Concept Linking
- arxiv url: http://arxiv.org/abs/2405.07500v1
- Date: Mon, 13 May 2024 06:36:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 14:44:50.701397
- Title: PromptLink: Leveraging Large Language Models for Cross-Source Biomedical Concept Linking
- Title(参考訳): PromptLink: クロスソースなバイオメディカルコンセプトリンクのための大規模言語モデルを活用する
- Authors: Yuzhang Xie, Jiaying Lu, Joyce Ho, Fadi Nahab, Xiao Hu, Carl Yang,
- Abstract要約: 大規模言語モデル(LLM)は多様な生体医学的NLPタスクにおいて顕著な結果を示した。
LLMは、高コスト、コンテキスト長の制限、信頼性の低い予測などの問題に悩まされる。
本研究では,新しいバイオメディカルな概念リンクフレームワークであるPromptLinkを提案する。
- 参考スコア(独自算出の注目度): 20.890596696992727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Linking (aligning) biomedical concepts across diverse data sources enables various integrative analyses, but it is challenging due to the discrepancies in concept naming conventions. Various strategies have been developed to overcome this challenge, such as those based on string-matching rules, manually crafted thesauri, and machine learning models. However, these methods are constrained by limited prior biomedical knowledge and can hardly generalize beyond the limited amounts of rules, thesauri, or training samples. Recently, large language models (LLMs) have exhibited impressive results in diverse biomedical NLP tasks due to their unprecedentedly rich prior knowledge and strong zero-shot prediction abilities. However, LLMs suffer from issues including high costs, limited context length, and unreliable predictions. In this research, we propose PromptLink, a novel biomedical concept linking framework that leverages LLMs. It first employs a biomedical-specialized pre-trained language model to generate candidate concepts that can fit in the LLM context windows. Then it utilizes an LLM to link concepts through two-stage prompts, where the first-stage prompt aims to elicit the biomedical prior knowledge from the LLM for the concept linking task and the second-stage prompt enforces the LLM to reflect on its own predictions to further enhance their reliability. Empirical results on the concept linking task between two EHR datasets and an external biomedical KG demonstrate the effectiveness of PromptLink. Furthermore, PromptLink is a generic framework without reliance on additional prior knowledge, context, or training data, making it well-suited for concept linking across various types of data sources. The source code is available at https://github.com/constantjxyz/PromptLink.
- Abstract(参考訳): 多様なデータソースにバイオメディカルな概念をリンク(調整)することで、様々な統合分析が可能になるが、概念命名規則の相違により困難である。
この課題を克服するために,文字列マッチングルールに基づくもの,手作業による手作業によるテザウリ,マシンラーニングモデルなど,さまざまな戦略が開発されている。
しかし、これらの手法は生物医学の知識が限られており、限られた量のルールやテッサウリ、トレーニングサンプル以外には一般化がほとんどない。
近年,大規模言語モデル (LLMs) は,生物医学的NLPタスクにおいて,前例のない豊富な事前知識と強いゼロショット予測能力により,顕著な成果を上げている。
しかし、LSMは高コスト、コンテキスト長の制限、信頼性の低い予測といった問題に悩まされている。
本研究では,LLMを利用した新しいバイオメディカルな概念リンクフレームワークであるPromptLinkを提案する。
まず、LLMコンテキストウィンドウに適合する候補概念を生成するために、バイオメディカル特化事前訓練言語モデルを使用する。
次に、LLMを使用して概念を2段階のプロンプトを通じてリンクし、第1段階のプロンプトは概念リンクタスクのためにLSMから生物医学的な事前知識を引き出すことを目的としており、第2段階のプロンプトはLSMに自身の予測を反映させ、信頼性をさらに向上させる。
2つのEHRデータセットと外部バイオメディカルKGのリンクタスクの概念に関する実証的な結果から,PromptLinkの有効性が示された。
さらに、PromptLinkは、追加の事前知識、コンテキスト、トレーニングデータに依存しない汎用的なフレームワークであり、さまざまなタイプのデータソースをまたがる概念に適している。
ソースコードはhttps://github.com/constantjxyz/PromptLinkで入手できる。
関連論文リスト
- Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。
LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。
上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
論文 参考訳(メタデータ) (2024-06-19T21:45:20Z) - Residual-based Language Models are Free Boosters for Biomedical Imaging [15.154015369984572]
本研究では,バイオメディカルイメージングタスクのエンコーダの一部として,残留型大規模言語モデル(LLM)の予期せぬ有効性を明らかにする。
これらのLCMは,2次元と3次元の視覚的分類タスクを含む,様々なバイオメディカルイメージングアプリケーションにおいて,性能を向上させることができることがわかった。
副産物として,提案手法は,MedMNIST-2Dと3Dの広範囲な標準化データセットに対して,最先端の成果を新たに設定し,優れた性能を実現した。
論文 参考訳(メタデータ) (2024-03-26T03:05:20Z) - Graph-Based Retriever Captures the Long Tail of Biomedical Knowledge [2.2814097119704058]
大規模言語モデル(LLM)は、膨大な知識を要約して提示することで、情報の検索方法を変えつつある。
LLMはトレーニングセットから最も頻繁に見られる情報を強調し、まれな情報を無視する傾向があります。
本稿では,これらのクラスタをダウンサンプリングし,情報過負荷問題を緩和するために知識グラフを活用する新しい情報検索手法を提案する。
論文 参考訳(メタデータ) (2024-02-19T18:31:11Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。
別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。
そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
論文 参考訳(メタデータ) (2024-01-04T18:59:49Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文 参考訳(メタデータ) (2023-12-21T14:26:57Z) - A Survey of Large Language Models for Healthcare: from Data, Technology, and Applications to Accountability and Ethics [32.10937977924507]
医療分野における大規模言語モデル(LLM)の利用は、興奮と懸念の両方を引き起こしている。
本調査では、現在開発中のLLMs for Healthcareの能力について概説し、開発プロセスについて解説する。
論文 参考訳(メタデータ) (2023-10-09T13:15:23Z) - Biomedical Entity Linking with Triple-aware Pre-Training [7.536753993136013]
我々は,KGから合成したコーパスを用いて,強力な大規模言語モデル(LLM)を事前学習するフレームワークを提案する。
評価では、同義語、記述、関係情報を含む利点を確認できない。
論文 参考訳(メタデータ) (2023-08-28T09:06:28Z) - Link-Context Learning for Multimodal LLMs [40.923816691928536]
リンクコンテキスト学習(LCL)はMLLMの学習能力を高めるために「原因と効果からの推論」を強調する。
LCLは、アナログだけでなく、データポイント間の因果関係も識別するようモデルに導出する。
本手法の評価を容易にするため,ISEKAIデータセットを提案する。
論文 参考訳(メタデータ) (2023-08-15T17:33:24Z) - LLM-CXR: Instruction-Finetuned LLM for CXR Image Understanding and Generation [51.08810811457617]
LLMにおける視覚言語アライメントは、マルチモーダル推論とビジュアルIOを可能にするために活発に研究されている。
医用画像の視覚言語能力を得るために,テキストのみにLLMを指導する手法を開発した。
このアプローチで訓練したLLM-CXRは,CXR理解タスクと生成タスクの両方において,より優れた画像テキストアライメントを示す。
論文 参考訳(メタデータ) (2023-05-19T07:44:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。