論文の概要: Taiyi: A Bilingual Fine-Tuned Large Language Model for Diverse Biomedical Tasks

• arxiv url: http://arxiv.org/abs/2311.11608v1
• Date: Mon, 20 Nov 2023 08:51:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 19:30:05.956296
• Title: Taiyi: A Bilingual Fine-Tuned Large Language Model for Diverse Biomedical Tasks
• Title（参考訳）: Taiyi: バイオメディカルタスクのためのバイリンガル微調整大言語モデル
• Authors: Ling Luo, Jinzhong Ning, Yingwen Zhao, Zhijun Wang, Zeyuan Ding, Peng Chen, Weiru Fu, Qinyu Han, Guangtao Xu, Yunzhi Qiu, Dinghao Pan, Jiru Li, Hao Li, Wenduo Feng, Senbo Tu, Yuqi Liu, Zhihao Yang, Jian Wang, Yuanyuan Sun, Hongfei Lin
• Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて有望な結果を示している。 本稿では,バイリンガル(英語と中国語)の微調整LDMであるタイイについて紹介する。
• 参考スコア（独自算出の注目度）: 19.091278630792615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in large language models (LLMs) have shown promising results across a variety of natural language processing (NLP) tasks. The application of LLMs to specific domains, such as biomedicine, has achieved increased attention. However, most biomedical LLMs focus on enhancing performance in monolingual biomedical question answering and conversation tasks. To further investigate the effectiveness of the LLMs on diverse biomedical NLP tasks in different languages, we present Taiyi, a bilingual (English and Chinese) fine-tuned LLM for diverse biomedical tasks. In this work, we first curated a comprehensive collection of 140 existing biomedical text mining datasets across over 10 task types. Subsequently, a two-stage strategy is proposed for supervised fine-tuning to optimize the model performance across varied tasks. Experimental results on 13 test sets covering named entity recognition, relation extraction, text classification, question answering tasks demonstrate Taiyi achieves superior performance compared to general LLMs. The case study involving additional biomedical NLP tasks further shows Taiyi's considerable potential for bilingual biomedical multi-tasking. The source code, datasets, and model for Taiyi are freely available at https://github.com/DUTIR-BioNLP/Taiyi-LLM.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、様々な自然言語処理(NLP)タスクにおいて有望な結果を示している。 バイオメディシンのような特定のドメインへのLSMの応用は、注目を集めている。 しかし,ほとんどのバイオメディカルLLMは,単言語型バイオメディカル質問応答や会話タスクの性能向上に重点を置いている。 異なる言語における多様な生物医学的NLPタスクに対するLLMの有効性をさらに検討するため,バイリンガル(英語と中国語)の微調整LDMであるTaiyiを紹介した。 そこで本研究では,10種類以上のタスクタイプにまたがる140の既存のバイオメディカルテキストマイニングデータセットの総合的な収集を行った。 その後、教師付き微調整のための2段階戦略を提案し、様々なタスクにおけるモデル性能を最適化する。 名前付きエンティティ認識,関係抽出,テキスト分類,質問応答タスクを含む13個のテストセットの実験結果から,タイイは一般LLMよりも優れた性能を示した。 追加のバイオメディカルNLPタスクを含むケーススタディは、タイイのバイリンガルなバイオメディカルマルチタスクの可能性をさらに示している。 Taiyiのソースコード、データセット、モデルはhttps://github.com/DUTIR-BioNLP/Taiyi-LLM.comから無料で入手できる。

関連論文リスト

• Extracting and Transferring Abilities For Building Multi-lingual Ability-enhanced Large Language Models [104.96990850774566]
  我々は,MAETと命名された多言語能力抽出と伝達手法を提案する。 我々のキーとなる考え方は、大きな言語モデルから言語に依存しない能力に関する重みを分解し抽出することである。 実験結果から,MAETは高度能力の抽出と伝達を効果的に行うことができ,トレーニングベースライン法よりも優れることがわかった。
  論文  参考訳（メタデータ） (2024-10-10T11:23:18Z)
• An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
  本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。 これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。 以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-21T11:27:31Z)
• DrBenchmark: A Large Language Understanding Evaluation Benchmark for French Biomedical Domain [8.246368441549967]
  我々はDrBenchmarkと呼ばれるフランスの生物医学言語理解ベンチマークを公開している。 名前付き認識、音声タグ付け、質問回答、意味的テキスト類似性、分類を含む20のタスクを含む。 一般およびバイオメディカル特化データに基づいて8つの最先端の事前訓練マスク付き言語モデル (MLM) を評価し, それらの言語間能力を評価する。
  論文  参考訳（メタデータ） (2024-02-20T23:54:02Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• A Comprehensive Evaluation of Large Language Models on Benchmark Biomedical Text Processing Tasks [2.5027382653219155]
  本稿では,バイオメディカル・タスクのベンチマークにおいて,LLM(Large Language Models)の性能を評価することを目的とする。 我々の知る限りでは、生物医学領域における様々なLSMの広範な評価と比較を行う最初の研究である。
  論文  参考訳（メタデータ） (2023-10-06T14:16:28Z)
• Bio-SIEVE: Exploring Instruction Tuning Large Language Models for Systematic Review Automation [6.452837513222072]
  LLM(Large Language Models)は、医学的体系的レビューのための文献スクリーニングをサポートすることができる。 私たちのベストモデルであるBio-SIEVEは、ChatGPTとトレーニングされた伝統的なアプローチの両方より優れています。 バイオSIEVEは, バイオメディカル・システマティック・レビューのプロセスにおいて, LLMを専門化するための重要なステップであると考えている。
  論文  参考訳（メタデータ） (2023-08-12T16:56:55Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Gradient Vaccine: Investigating and Improving Multi-task Optimization in Massively Multilingual Models [63.92643612630657]
  本稿では、損失関数幾何学のレンズを通して多言語最適化のブラックボックスを覗き込もうとする。 最適化軌道に沿って測定された勾配類似性は重要な信号であり、言語近接とよく相関している。 そこで我々はGradient Vaccineというシンプルでスケーラブルな最適化手法を考案した。
  論文  参考訳（メタデータ） (2020-10-12T17:26:34Z)
• An Empirical Study of Multi-Task Learning on BERT for Biomedical Text Mining [17.10823632511911]
  複数のデコーダを用いたマルチタスク学習モデルについて,生物医学的および臨床的自然言語処理タスクの多様性について検討した。 実験結果から,MTL微調整モデルが最先端トランスモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-06T13:25:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。