論文の概要: BioLORD-2023: Semantic Textual Representations Fusing LLM and Clinical Knowledge Graph Insights

• arxiv url: http://arxiv.org/abs/2311.16075v1
• Date: Mon, 27 Nov 2023 18:46:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 13:52:22.790076
• Title: BioLORD-2023: Semantic Textual Representations Fusing LLM and Clinical Knowledge Graph Insights
• Title（参考訳）: BioLORD-2023: LLMと臨床知識グラフを用いた意味的テクスチャ表現
• Authors: Fran\c{c}ois Remy and Kris Demuynck and Thomas Demeester
• Abstract要約: バイオメディカルな概念と文の高忠実度表現を得るための新しい最先端手法を提案する。 これまでの技術状況よりも一貫した、実質的なパフォーマンス向上を実証する。 英語のための最新のバイオメディカルモデルに加えて、50以上の言語と互換性のある多言語モデルを蒸留してリリースする。
• 参考スコア（独自算出の注目度）: 15.952942443163474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we investigate the potential of Large Language Models to complement biomedical knowledge graphs in the training of semantic models for the biomedical and clinical domains. Drawing on the wealth of the UMLS knowledge graph and harnessing cutting-edge Large Language Models, we propose a new state-of-the-art approach for obtaining high-fidelity representations of biomedical concepts and sentences, consisting of three steps: an improved contrastive learning phase, a novel self-distillation phase, and a weight averaging phase. Through rigorous evaluations via the extensive BioLORD testing suite and diverse downstream tasks, we demonstrate consistent and substantial performance improvements over the previous state of the art (e.g. +2pts on MedSTS, +2.5pts on MedNLI-S, +6.1pts on EHR-Rel-B). Besides our new state-of-the-art biomedical model for English, we also distill and release a multilingual model compatible with 50+ languages and finetuned on 7 European languages. Many clinical pipelines can benefit from our latest models. Our new multilingual model enables a range of languages to benefit from our advancements in biomedical semantic representation learning, opening a new avenue for bioinformatics researchers around the world. As a result, we hope to see BioLORD-2023 becoming a precious tool for future biomedical applications.
• Abstract（参考訳）: 本研究では,バイオメディカルおよび臨床領域のセマンティックモデルのトレーニングにおいて,バイオメディカル知識グラフを補完する大規模言語モデルの可能性を検討する。 UMLS知識グラフの富と最先端のLarge Language Modelsを活用することにより,改良されたコントラスト学習フェーズ,新しい自己蒸留フェーズ,および平均化フェーズの3段階からなる,バイオメディカル概念と文の高忠実度表現を得るための最先端のアプローチを提案する。 幅広いBioLORDテストスイートと様々なダウンストリームタスクによる厳密な評価を通じて、従来の最先端技術(MedSTSの+2pts、MedNLI-Sの+2.5pts、EHR-Rel-Bの+6.1ptsなど)に対して一貫した、実質的なパフォーマンス改善を示す。 最新のバイオメディカルモデルに加えて、50以上の言語に対応し、7つのヨーロッパ言語で微調整された多言語モデルを蒸留・リリースしています。 最新のモデルから多くの臨床パイプラインを活用できます。 我々の新しい多言語モデルは、世界中のバイオインフォマティクス研究者のための新たな道を開く、バイオメディカルセマンティックな表現学習の進歩の恩恵を受けることができる。 その結果,BioLORD-2023が今後のバイオメディカル応用にとって重要なツールになることを願っている。

関連論文リスト

• Leveraging Biomolecule and Natural Language through Multi-Modal Learning: A Survey [75.47055414002571]
  生物分子モデリングと自然言語(BL)の統合は、人工知能、化学、生物学の交差点において有望な学際領域として現れてきた。 生体分子と自然言語の相互モデリングによって達成された最近の進歩について分析する。
  論文  参考訳（メタデータ） (2024-03-03T14:59:47Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Exploring the In-context Learning Ability of Large Language Model for Biomedical Concept Linking [4.8882241537236455]
  本研究では,生物医学的概念リンクのための大規模モデルのコンテキスト内学習機能を活用する手法について検討する。 提案手法は2段階のレトリーブ・アンド・ランク・フレームワークを採用する。 BC5CDRの病体正規化では90.%、化学体正規化では94.7%の精度を達成した。
  論文  参考訳（メタデータ） (2023-07-03T16:19:50Z)
• LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day [85.19963303642427]
  本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。 モデルはまず、フィギュア・キャプションのペアを使ってバイオメディカル・ボキャブラリをアライメントし、その後、オープンエンドの会話意味論を習得する。 これにより、バイオメディジンのための大規模言語と視覚アシスタントを15時間以内で(8つのA100で)訓練することができる。
  論文  参考訳（メタデータ） (2023-06-01T16:50:07Z)
• BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs [48.376109878173956]
  PMC-15Mは,既存のバイオメディカル・マルチモーダル・データセットよりも2桁大きい新しいデータセットである。 PMC-15Mは440万の科学論文から収集された1500万のバイオメディカル画像テキスト対を含んでいる。 PMC-15Mに基づいて,生物医学的視覚言語処理に適したドメイン固有適応を備えた多モーダル基礎モデルであるBiomedCLIPを事前訓練した。
  論文  参考訳（メタデータ） (2023-03-02T02:20:04Z)
• BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining [140.61707108174247]
  本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
  論文  参考訳（メタデータ） (2022-10-19T07:17:39Z)
• Pre-trained Language Models in Biomedical Domain: A Systematic Survey [33.572502204216256]
  プレトレーニング言語モデル(PLM)は、ほとんどの自然言語処理(NLP)タスクのデファクトパラダイムである。 本稿では,生物医学領域における事前学習言語モデルの最近の進歩とその生物医学的下流タスクへの応用について要約する。
  論文  参考訳（メタデータ） (2021-10-11T05:30:30Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Conceptualized Representation Learning for Chinese Biomedical Text Mining [14.77516568767045]
  本稿では,最近導入された言語モデルBERTが,中国のバイオメディカルコーパスにどのように適応できるかを検討する。 漢文では、その複雑な構造と多種多様な句の組み合わせにより、より困難である。
  論文  参考訳（メタデータ） (2020-08-25T04:41:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。