論文の概要: BioInstruct: Instruction Tuning of Large Language Models for Biomedical Natural Language Processing

• arxiv url: http://arxiv.org/abs/2310.19975v2
• Date: Mon, 6 Nov 2023 15:05:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 19:33:10.823381
• Title: BioInstruct: Instruction Tuning of Large Language Models for Biomedical Natural Language Processing
• Title（参考訳）: バイオインストラクト:バイオメディカル自然言語処理のための大規模言語モデルのチューニング
• Authors: Hieu Tran, Zhichao Yang, Zonghai Yao, Hong Yu
• Abstract要約: 25,005の命令から大規模言語モデル(LLM)を作成する。 命令は、80人のキュレートされた命令からランダムに3列のサンプルを引いたGPT-4言語モデルによって作成される。 いくつかのBioNLPタスクにおいて、これらの命令調整LDMを評価し、質問応答(QA)、情報抽出(IE)、テキスト生成(GEN)の3つの主要なカテゴリに分類できる。
• 参考スコア（独自算出の注目度）: 11.68762234849359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To enhance the performance of large language models (LLMs) in biomedical natural language processing (BioNLP) by introducing a domain-specific instruction dataset and examining its impact when combined with multi-task learning principles. We created the BioInstruct, comprising 25,005 instructions to instruction-tune LLMs(LLaMA 1 & 2, 7B & 13B version). The instructions were created by prompting the GPT-4 language model with three-seed samples randomly drawn from an 80 human curated instructions. We employed Low-Rank Adaptation(LoRA) for parameter-efficient fine-tuning. We then evaluated these instruction-tuned LLMs on several BioNLP tasks, which can be grouped into three major categories: question answering(QA), information extraction(IE), and text generation(GEN). We also examined whether categories(e.g., QA, IE, and generation) of instructions impact model performance. Comparing with LLMs without instruction-tuned, our instruction-tuned LLMs demonstrated marked performance gains: 17.3% in QA, 5.7% in IE, and 96% in Generation tasks. Our 7B-parameter instruction-tuned LLaMA 1 model was competitive or even surpassed other LLMs in the biomedical domain that were also fine-tuned from LLaMA 1 with vast domain-specific data or a variety of tasks. Our results also show that the performance gain is significantly higher when instruction fine-tuning is conducted with closely related tasks. Our findings align with the observations of multi-task learning, suggesting the synergies between two tasks. The BioInstruct dataset serves as a valuable resource and instruction tuned LLMs lead to the best performing BioNLP applications.
• Abstract（参考訳）: ドメイン固有の命令データセットを導入し、マルチタスク学習原則と組み合わせることで、バイオメディカル自然言語処理(BioNLP)における大規模言語モデル(LLM)の性能を向上させる。 このバイオインストラクタは25,005個の命令を命令チューンllms(llama 1 & 2, 7b & 13bバージョン)に割り当てる。 命令は、80人のキュレートされた命令からランダムに3列のサンプルを引いたGPT-4言語モデルによって作成される。 パラメータ効率の良い微調整にLoRA(Lo-Rank Adaptation)を用いた。 次に,複数のBioNLPタスクを用いて,これらの命令調整LLMを評価し,質問応答(QA),情報抽出(IE),テキスト生成(GEN)の3つのカテゴリに分類した。 また,命令のカテゴリ(QA,IE,生成など)がモデルの性能に与える影響についても検討した。 命令調整なしのLLMと比較して、命令調整されたLLMは、QAが17.3%、IEが5.7%、ジェネレーションタスクが96%という顕著なパフォーマンス向上を示した。 7bパラメータの命令を調整したllama 1モデルは、llama 1と大きく異なるドメイン固有のデータや様々なタスクで微調整されたバイオメディカルドメインの他のllmをも上回っていた。 また,命令の微調整を密接に関連したタスクで行うと,性能が著しく向上することを示した。 本研究は,マルチタスク学習の観察と一致し,二つのタスク間の相乗効果を示唆する。 BioInstructデータセットは貴重なリソースとして機能し、LLMをチューニングすることで、最高のBioNLPアプリケーションを実現する。

関連論文リスト

• Information Extraction from Clinical Notes: Are We Ready to Switch to Large Language Models? [16.312594953592665]
  大規模言語モデル(LLM)は生成タスクに優れるが、抽出タスクのパフォーマンスについては議論が続いている。 本研究は,オープンソースLLMを用いた包括的臨床用IEシステムの開発と評価を行った最初の試みである。
  論文  参考訳（メタデータ） (2024-11-15T07:54:19Z)
• Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation [56.75665429851673]
  本稿では,人間とLLMの選好アライメントという2つのユニークな視点から導いた,新しい命令キュレーションアルゴリズムを提案する。 実験により,合成マルチモーダル命令を最大90%圧縮することにより,モデル性能の維持や改善が可能であることが示された。
  論文  参考訳（メタデータ） (2024-09-27T08:20:59Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• BiomedRAG: A Retrieval Augmented Large Language Model for Biomedicine [19.861178160437827]
  大規模言語モデル(LLM)は、バイオメディカルおよび医療分野における様々な応用のための重要なリソースとして急速に現れてきた。 textscBiomedRAGは5つのバイオメディカルNLPタスクで優れたパフォーマンスを実現している。 textscBiomedRAG は、GIT と ChemProt コーパスにおいて、マイクロF1スコアが 81.42 と 88.83 の他のトリプル抽出システムより優れている。
  論文  参考訳（メタデータ） (2024-05-01T12:01:39Z)
• Towards Robust Instruction Tuning on Multimodal Large Language Models [25.506776502317436]
  本研究では,マルチモーダルタスクにおいて,INSTRAUGという自動命令拡張手法を導入する。 2つの人気のあるマルチモーダル命令フォローベンチマークの結果、INSTRAUGは12のマルチモーダルタスク間でのMLLM(Multimodal Large Language Model)のアライメントを大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2024-02-22T12:35:50Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• Ensemble-Instruct: Generating Instruction-Tuning Data with a Heterogeneous Mixture of LMs [23.38507910115345]
  In-context Learning (ICL)技術は、少数の人間の監督だけで強力な会話エージェントを訓練することができる。 ここでは、より小さく(約10B-40Bパラメータ)、許容ライセンスを持つ言語モデルへのそのような手法の適用について検討する。 我々は,これらのサイズでは効果が低いセルフインストラクト手法を考案し,2つの主要なアイデアに基づいて新たなICL手法を提案する。
  論文  参考訳（メタデータ） (2023-10-21T10:21:17Z)
• Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models [91.02730155418699]
  大規模言語モデル(LLM)は、自然言語命令に従うことで幅広いタスクを実行できる。 LLMに提供される命令の質を自動改善する新しい手法であるAuto-Instructを導入する。 118のアウトオブドメインタスクの実験では、Auto-Instructは人間による命令と既存のLCM生成命令のベースラインを超越している。
  論文  参考訳（メタデータ） (2023-10-19T19:52:55Z)
• BayLing: Bridging Cross-lingual Alignment and Instruction Following through Interactive Translation for Large Language Models [39.03467441090675]
  大規模言語モデル (LLM) は言語理解と生成において顕著な進歩を見せている。 我々は,LLaMAを基礎LLMとして活用し,命令追従型LLMであるBayLingを開発した。 BayLingのデモ、ホームページ、コード、モデルが利用可能だ。
  論文  参考訳（メタデータ） (2023-06-19T14:30:52Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)
• Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A Preliminary Study on Writing Assistance [60.40541387785977]
  小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。 本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。 実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-05-22T16:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。