Fugu-MT 論文翻訳(概要): Exploring the In-context Learning Ability of Large Language Model for Biomedical Concept Linking

論文の概要: Exploring the In-context Learning Ability of Large Language Model for Biomedical Concept Linking

arxiv url: http://arxiv.org/abs/2307.01137v1
Date: Mon, 3 Jul 2023 16:19:50 GMT
ステータス: 処理完了
システム内更新日: 2023-07-05 12:20:58.081923
Title: Exploring the In-context Learning Ability of Large Language Model for Biomedical Concept Linking
Title（参考訳）: 生体概念リンクのための大規模言語モデルの文脈内学習能力の検討
Authors: Qinyong Wang, Zhenxiang Gao, Rong Xu
Abstract要約: 本研究では,生物医学的概念リンクのための大規模モデルのコンテキスト内学習機能を活用する手法について検討する。提案手法は2段階のレトリーブ・アンド・ランク・フレームワークを採用する。 BC5CDRの病体正規化では90.%、化学体正規化では94.7%の精度を達成した。
参考スコア（独自算出の注目度）: 4.8882241537236455
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The biomedical field relies heavily on concept linking in various areas such as literature mining, graph alignment, information retrieval, question-answering, data, and knowledge integration. Although large language models (LLMs) have made significant strides in many natural language processing tasks, their effectiveness in biomedical concept mapping is yet to be fully explored. This research investigates a method that exploits the in-context learning (ICL) capabilities of large models for biomedical concept linking. The proposed approach adopts a two-stage retrieve-and-rank framework. Initially, biomedical concepts are embedded using language models, and then embedding similarity is utilized to retrieve the top candidates. These candidates' contextual information is subsequently incorporated into the prompt and processed by a large language model to re-rank the concepts. This approach achieved an accuracy of 90.% in BC5CDR disease entity normalization and 94.7% in chemical entity normalization, exhibiting a competitive performance relative to supervised learning methods. Further, it showed a significant improvement, with an over 20-point absolute increase in F1 score on an oncology matching dataset. Extensive qualitative assessments were conducted, and the benefits and potential shortcomings of using large language models within the biomedical domain were discussed. were discussed.
Abstract（参考訳）: バイオメディカル分野は、文献マイニング、グラフアライメント、情報検索、質問応答、データ、知識統合といった様々な分野のコンセプトリンクに大きく依存している。大規模言語モデル(llm)は多くの自然言語処理タスクにおいて大きな進歩を遂げているが、その生物医学的概念マッピングにおける効果はまだ十分に検討されていない。本研究では,大規模モデルの文脈内学習(icl)能力を生医学的概念リンクに活用する手法について検討する。提案手法は2段階のレトリーブ・アンド・ランク・フレームワークを採用する。当初、バイオメディカルな概念は言語モデルを用いて組み込まれ、その後、類似性を埋め込んで上位候補を検索する。これらの候補の文脈情報はその後プロンプトに組み込まれ、大きな言語モデルによって処理され、概念を再ランクする。このアプローチは、BC5CDR 病体正規化の90.%、化学体正規化の94.7%の精度を達成し、教師付き学習法と比較して競争性能を示した。さらに,oncology matchingデータセットにおいて,f1スコアの絶対値が20ポイント以上増加した。広範な質的評価を行い, 生体医学領域における大規模言語モデルの利用の利点と潜在的な欠点について考察した。議論されました

関連論文リスト

Unified Representation of Genomic and Biomedical Concepts through Multi-Task, Multi-Source Contrastive Learning [45.6771125432388]
言語モデル(genEREL)を用いたジェノミクス表現について紹介する。 GENERELは遺伝学と生物医学の知識基盤を橋渡しするために設計されたフレームワークである。本実験は,SNPと臨床概念のニュアンス関係を効果的に把握するgenERELの能力を実証するものである。
論文参考訳（メタデータ） (2024-10-14T04:19:52Z)
Leveraging Biomolecule and Natural Language through Multi-Modal Learning: A Survey [75.47055414002571]
生物分子モデリングと自然言語(BL)の統合は、人工知能、化学、生物学の交差点において有望な学際領域として現れてきた。生体分子と自然言語の相互モデリングによって達成された最近の進歩について分析する。
論文参考訳（メタデータ） (2024-03-03T14:59:47Z)
Multi-level biomedical NER through multi-granularity embeddings and enhanced labeling [3.8599767910528917]
本稿では,複数のモデルの強みを統合するハイブリッドアプローチを提案する。 BERTは、文脈化された単語の埋め込み、文字レベルの情報キャプチャのための事前訓練されたマルチチャネルCNN、およびテキスト内の単語間の依存関係のシーケンスラベリングとモデル化のためのBiLSTM + CRFを提供する。我々は、ベンチマークi2b2/2010データセットを用いて、F1スコア90.11を達成する。
論文参考訳（メタデータ） (2023-12-24T21:45:36Z)
Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文参考訳（メタデータ） (2023-12-21T14:26:57Z)
High-throughput Biomedical Relation Extraction for Semi-Structured Web Articles Empowered by Large Language Models [1.9665865095034865]
関係抽出タスクを大言語モデルのバイナリ分類として定式化する。メインタイトルをテールエンティティとして指定し、コンテキストに明示的に組み込む。長い内容はテキストチャンクにスライスされ、埋め込みされ、追加の埋め込みモデルで検索される。
論文参考訳（メタデータ） (2023-12-13T16:43:41Z)
BioLORD-2023: Semantic Textual Representations Fusing LLM and Clinical Knowledge Graph Insights [15.952942443163474]
バイオメディカルな概念と文の高忠実度表現を得るための新しい最先端手法を提案する。これまでの技術状況よりも一貫した、実質的なパフォーマンス向上を実証する。英語のための最新のバイオメディカルモデルに加えて、50以上の言語と互換性のある多言語モデルを蒸留してリリースする。
論文参考訳（メタデータ） (2023-11-27T18:46:17Z)
LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day [85.19963303642427]
本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。モデルはまず、フィギュア・キャプションのペアを使ってバイオメディカル・ボキャブラリをアライメントし、その後、オープンエンドの会話意味論を習得する。これにより、バイオメディジンのための大規模言語と視覚アシスタントを15時間以内で(8つのA100で)訓練することができる。
論文参考訳（メタデータ） (2023-06-01T16:50:07Z)
BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
論文参考訳（メタデータ） (2023-05-26T17:14:43Z)
PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。 LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。 PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
論文参考訳（メタデータ） (2023-04-27T18:29:05Z)
CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
中国初のバイオメディカル言語理解評価ベンチマークを提示する。名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
論文参考訳（メタデータ） (2021-06-15T12:25:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。