論文の概要: BioMistral-NLU: Towards More Generalizable Medical Language Understanding through Instruction Tuning

• arxiv url: http://arxiv.org/abs/2410.18955v1
• Date: Thu, 24 Oct 2024 17:53:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 16:43:56.030725
• Title: BioMistral-NLU: Towards More Generalizable Medical Language Understanding through Instruction Tuning
• Title（参考訳）: BioMistral-NLU:インストラクションチューニングによるより汎用的な医療用言語理解を目指して
• Authors: Yujuan Velvin Fu, Giridhar Kaushik Ramachandran, Namu Park, Kevin Lybarger, Fei Xia, Ozlem Uzuner, Meliha Yetisgen,
• Abstract要約: 汎用医療用NLUモデルであるBioMistral-NLUをMNLU-Instruct上で微調整して開発する。 我々のBioMistral-NLUはオリジナルのBioMistralよりも優れています。 多様なNLUタスクに対するデータセットに依存しないプロンプト戦略と命令チューニングのステップにより、多様な医療NLUタスク間のLLMの一般化性が向上する。
• 参考スコア（独自算出の注目度）: 19.027921909970832
• License:
• Abstract: Large language models (LLMs) such as ChatGPT are fine-tuned on large and diverse instruction-following corpora, and can generalize to new tasks. However, those instruction-tuned LLMs often perform poorly in specialized medical natural language understanding (NLU) tasks that require domain knowledge, granular text comprehension, and structured data extraction. To bridge the gap, we: (1) propose a unified prompting format for 7 important NLU tasks, % through span extraction and multi-choice question-answering (QA), (2) curate an instruction-tuning dataset, MNLU-Instruct, utilizing diverse existing open-source medical NLU corpora, and (3) develop BioMistral-NLU, a generalizable medical NLU model, through fine-tuning BioMistral on MNLU-Instruct. We evaluate BioMistral-NLU in a zero-shot setting, across 6 important NLU tasks, from two widely adopted medical NLU benchmarks: Biomedical Language Understanding Evaluation (BLUE) and Biomedical Language Understanding and Reasoning Benchmark (BLURB). Our experiments show that our BioMistral-NLU outperforms the original BioMistral, as well as the proprietary LLMs - ChatGPT and GPT-4. Our dataset-agnostic prompting strategy and instruction tuning step over diverse NLU tasks enhance LLMs' generalizability across diverse medical NLU tasks. Our ablation experiments show that instruction-tuning on a wider variety of tasks, even when the total number of training instances remains constant, enhances downstream zero-shot generalization.
• Abstract（参考訳）: ChatGPTのような大規模言語モデル(LLM)は、大規模で多様な命令追従コーパスに基づいて微調整され、新しいタスクに一般化することができる。 しかし、これらの命令チューニング LLM は、ドメイン知識、詳細なテキスト理解、構造化データ抽出を必要とする専門的な医学自然言語理解(NLU)タスクにおいて、よく機能しない。 このギャップを埋めるために,(1) 重要な7つのNLUタスクの統一的なプロンプト形式,% のスパン抽出とマルチチョイス質問回答(QA)、(2) MNLU-Instruct, MNLU-Instruct, 様々な既存のオープンソース医療NLUコーパスを活用し, 3) 汎用医療NLUモデルであるBioMistral-NLUを開発する。 バイオメディカル言語理解評価 (BLUE) とバイオメディカル言語理解・推論ベンチマーク (BLURB) の2つの医学的NLUベンチマークから, 6つの重要なNLUタスクにまたがるゼロショット環境でBioMistral-NLUを評価した。 我々のBioMistral-NLUはオリジナルのBioMistralよりも優れており,プロプライエタリなLLMであるChatGPTとGPT-4より優れています。 多様なNLUタスクに対するデータセットに依存しないプロンプト戦略と命令チューニングのステップにより、多様な医療NLUタスク間のLLMの一般化性が向上する。 我々のアブレーション実験は、訓練インスタンスの総数が一定であっても、幅広いタスクの命令チューニングが、下流ゼロショットの一般化を促進することを示している。

関連論文リスト

• Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
  医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。 ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
  論文  参考訳（メタデータ） (2024-10-21T07:19:19Z)
• Y-Mol: A Multiscale Biomedical Knowledge-Guided Large Language Model for Drug Development [24.5979645373074]
  Y-Mol は知識誘導型 LLM であり、鉛化合物発見、プリクリニック、クリニック予測といったタスクをこなすように設計されている。 出版物、知識グラフ、専門家が設計した合成データから学習する。 Y-Molは、鉛化合物の発見、分子特性の予測、薬物相互作用のイベントの同定において、汎用LLMよりも著しく優れている。
  論文  参考訳（メタデータ） (2024-10-15T12:39:20Z)
• LLMs are not Zero-Shot Reasoners for Biomedical Information Extraction [13.965777046473885]
  大規模言語モデル(LLM)は、医療分野のアプリケーションにますます採用されている。 LLMがバイオメディカル領域で伝統的に追求されるタスクでどの程度うまく機能するかは不明である。
  論文  参考訳（メタデータ） (2024-08-22T09:37:40Z)
• When LLMs Meet Cunning Texts: A Fallacy Understanding Benchmark for Large Language Models [59.84769254832941]
  本稿では,人間が理解し易いが,理解し難い文を含むFaLlacy Understanding Benchmark (FLUB)を提案する。 具体的には、FLUBが焦点を絞ったcunningテキストは、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招くテキストで構成されている。 FLUBに基づいて,複数の代表および先進LLMの性能について検討する。
  論文  参考訳（メタデータ） (2024-02-16T22:12:53Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• Holistic Autonomous Driving Understanding by Bird's-Eye-View Injected Multi-Modal Large Models [76.99140362751787]
  我々は17のサブタスクで91Kのマルチビュービデオ-QAペアを持つ新しいデータセットであるNuInstructを提案する。 また,BirdのEye-View特徴を効率的に抽出するエンドツーエンド手法であるBEV-InMLLMを提案する。
  論文  参考訳（メタデータ） (2024-01-02T01:54:22Z)
• A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
  大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。 本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
  論文  参考訳（メタデータ） (2023-11-09T02:55:58Z)
• BioInstruct: Instruction Tuning of Large Language Models for Biomedical Natural Language Processing [10.698756010878688]
  25,005の命令から大規模言語モデル(LLM)を作成する。 命令は、80人のキュレートされた命令からランダムに3列のサンプルを引いたGPT-4言語モデルによって作成される。 いくつかのBioNLPタスクにおいて、これらの命令調整LDMを評価し、質問応答(QA)、情報抽出(IE)、テキスト生成(GEN)の3つの主要なカテゴリに分類できる。
  論文  参考訳（メタデータ） (2023-10-30T19:38:50Z)
• The Massively Multilingual Natural Language Understanding 2022 (MMNLU-22) Workshop and Competition [0.0]
  利用可能なデータがないため、自然言語理解システムは言語のサブセットに限定されることが一般的である。 我々は、NLUの限界に対処し、NLU技術を新しい高さまで推進する3段階のアプローチをローンチする。 我々は、Slot-filling、Intent Classification、Virtual Assistant EvaluationのためのMultilingual Amazon SLU Resource Pack(SLURP)と呼ばれる52の言語データセットをリリースする。 我々は、競争環境を提供し、モデルの他言語への転送可能性を高めるために、大規模多言語NLU 2022チャレンジを組織する。
  論文  参考訳（メタデータ） (2022-12-13T03:00:36Z)
• NLU++: A Multi-Label, Slot-Rich, Generalisable Dataset for Natural Language Understanding in Task-Oriented Dialogue [53.54788957697192]
  NLU++はタスク指向対話(ToD)システムにおける自然言語理解(NLU)のための新しいデータセットである。 NLU++は2つのドメイン(BANKINGとHOTELS)に分割されており、現在一般的に使用されているNLUデータセットよりもいくつかの重要な改善が行われている。
  論文  参考訳（メタデータ） (2022-04-27T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。