論文の概要: RAMIE: Retrieval-Augmented Multi-task Information Extraction with Large Language Models on Dietary Supplements

• arxiv url: http://arxiv.org/abs/2411.15700v1
• Date: Sun, 24 Nov 2024 03:56:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:25.652750
• Title: RAMIE: Retrieval-Augmented Multi-task Information Extraction with Large Language Models on Dietary Supplements
• Title（参考訳）: RAMIE:大規模言語モデルを用いた検索型マルチタスク情報抽出
• Authors: Zaifu Zhan, Shuang Zhou, Mingchen Li, Rui Zhang,
• Abstract要約: 臨床記録から食事サプリメント(DS)に関する情報を抽出するための多タスク大言語モデル(LLM)フレームワークを開発した。 我々は4つの中核DS情報抽出タスクをマルチタスクとして使用した。 RAMIEフレームワークの助けを借りて、Llama2-13BはNERタスクでF1スコア87.39(3.51%改善)を達成した。 TEタスクでは、Llama2-7Bは79.45点(14.26%改善)、MedAlpaca-7Bは93.45点(0.94%改善)を記録した。
• 参考スコア（独自算出の注目度）: 12.224815934085154
• License:
• Abstract: \textbf{Objective:} We aimed to develop an advanced multi-task large language model (LLM) framework to extract multiple types of information about dietary supplements (DS) from clinical records. \textbf{Methods:} We used four core DS information extraction tasks - namely, named entity recognition (NER: 2,949 clinical sentences), relation extraction (RE: 4,892 sentences), triple extraction (TE: 2,949 sentences), and usage classification (UC: 2,460 sentences) as our multitasks. We introduced a novel Retrieval-Augmented Multi-task Information Extraction (RAMIE) Framework, including: 1) employed instruction fine-tuning techniques with task-specific prompts, 2) trained LLMs for multiple tasks with improved storage efficiency and lower training costs, and 3) incorporated retrieval augmentation generation (RAG) techniques by retrieving similar examples from the training set. We compared RAMIE's performance to LLMs with instruction fine-tuning alone and conducted an ablation study to assess the contributions of multi-task learning and RAG to improved multitasking performance. \textbf{Results:} With the aid of the RAMIE framework, Llama2-13B achieved an F1 score of 87.39 (3.51\% improvement) on the NER task and demonstrated outstanding performance on the RE task with an F1 score of 93.74 (1.15\% improvement). For the TE task, Llama2-7B scored 79.45 (14.26\% improvement), and MedAlpaca-7B achieved the highest F1 score of 93.45 (0.94\% improvement) on the UC task. The ablation study revealed that while MTL increased efficiency with a slight trade-off in performance, RAG significantly boosted overall accuracy. \textbf{Conclusion:} This study presents a novel RAMIE framework that demonstrates substantial improvements in multi-task information extraction for DS-related data from clinical records. Our framework can potentially be applied to other domains.
• Abstract（参考訳）: 臨床記録から食事サプリメント(DS)に関する情報を抽出するために,高度多タスク大言語モデル(LLM)フレームワークを開発することを目的とした。 \textbf{Methods:} 私たちは4つの中核DS情報抽出タスク、すなわち、名前付きエンティティ認識(NER: 2,949 臨床文)、関係抽出(RE: 4,892 文)、三重抽出(TE: 2,949 文)、利用分類(UC: 2,460 文)をマルチタスクとして使用した。 我々は,RAMIE(Retrieval-Augmented Multi-task Information extract)フレームワークを導入した。 1)タスク特化プロンプトを用いた教示微調整技術 2) 記憶効率の向上とトレーニングコストの低減を図った複数タスクのための学習用LDM 3) トレーニングセットから類似例を検索し, RAG(Integrated Search Augmentation Generation)手法を組み込んだ。 マルチタスク学習とRAGによるマルチタスク性能向上の貢献度を評価するために,RAMIEの性能と命令の微調整を単独で比較し,アブレーション試験を行った。 \textbf{Results:} RAMIEフレームワークの助けを借りて、Llama2-13BはNERタスクで87.39(3.51\%改善)のF1スコアを獲得し、93.74(1.15\%改善)のREタスクで優れたパフォーマンスを示した。 TEタスクでは、Llama2-7Bは79.45点(14.26.%改善)、MedAlpaca-7Bは93.45点(0.94.%改善)を記録した。 アブレーション試験では, MTLは若干のトレードオフにより効率が向上したが, RAGは全体的な精度を著しく向上した。 本研究は,臨床記録からDS関連データに対するマルチタスク情報抽出の大幅な改善を示す新しいRAMIEフレームワークを提案する。 私たちのフレームワークは他のドメインにも適用できます。

関連論文リスト

• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• LamRA: Large Multimodal Model as Your Advanced Retrieval Assistant [63.28378110792787]
  LamRAは大規模マルチモーダルモデルに高度な検索と再ランク機能を持たせるために設計された多機能フレームワークである。 検索には、言語のみの事前学習とマルチモーダル・インストラクション・チューニングからなる2段階のトレーニング戦略を採用する。 再格付けには、ポイントワイドとリストワイドの両方のジョイントトレーニングを採用し、検索性能をさらに向上させる2つの方法を提供している。
  論文  参考訳（メタデータ） (2024-12-02T17:10:16Z)
• Instructive Code Retriever: Learn from Large Language Model's Feedback for Code Intelligence Tasks [10.867880635762395]
  Instructive Code Retriever (ICR) という新しいアプローチを導入する。 ICRは、さまざまなコードインテリジェンスタスクやデータセットにわたるモデル推論を強化するサンプルを取得するように設計されている。 我々は,コード要約,プログラム合成,バグ修正など,様々なタスクにおけるモデルの有効性を評価する。
  論文  参考訳（メタデータ） (2024-10-15T05:44:00Z)
• RUIE: Retrieval-based Unified Information Extraction using Large Language Model [6.788855739199981]
  統一された情報抽出は、構造化されていないテキストから構造化された情報を抽出することを目的としている。 本稿では,タスクの効率的な一般化にコンテキスト内学習を活用するフレームワークRUIE(Retrieval-based Unified Information extract)を提案する。
  論文  参考訳（メタデータ） (2024-09-18T03:20:04Z)
• Building Math Agents with Multi-Turn Iterative Preference Learning [56.71330214021884]
  本稿では,モデル性能をさらに向上させるために,補完的な直接選好学習手法について検討する。 既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されている。 この文脈に合わせたマルチターン直接選好学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-04T02:41:04Z)
• Less is More: High-value Data Selection for Visual Instruction Tuning [127.38740043393527]
  本稿では,視覚的命令データの冗長性を排除し,トレーニングコストを削減するために,高価値なデータ選択手法TIVEを提案する。 約15%のデータしか使用していない我々のアプローチは、8つのベンチマークで全データ微調整モデルに匹敵する平均性能を実現することができる。
  論文  参考訳（メタデータ） (2024-03-14T16:47:25Z)
• Rethinking and Improving Multi-task Learning for End-to-end Speech Translation [51.713683037303035]
  異なる時間とモジュールを考慮したタスク間の整合性について検討する。 テキストエンコーダは、主にクロスモーダル変換を容易にするが、音声におけるノイズの存在は、テキストと音声表現の一貫性を妨げる。 長さと表現の差を軽減し,モーダルギャップを橋渡しする,STタスクのための改良型マルチタスク学習(IMTL)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T08:48:46Z)
• BioInstruct: Instruction Tuning of Large Language Models for Biomedical Natural Language Processing [10.698756010878688]
  25,005の命令から大規模言語モデル(LLM)を作成する。 命令は、80人のキュレートされた命令からランダムに3列のサンプルを引いたGPT-4言語モデルによって作成される。 いくつかのBioNLPタスクにおいて、これらの命令調整LDMを評価し、質問応答(QA)、情報抽出(IE)、テキスト生成(GEN)の3つの主要なカテゴリに分類できる。
  論文  参考訳（メタデータ） (2023-10-30T19:38:50Z)
• RA-DIT: Retrieval-Augmented Dual Instruction Tuning [90.98423540361946]
  Retrieval-augmented Language Model (RALMs) は、外部データストアからロングテールおよび最新の知識にアクセスすることで、パフォーマンスを向上させる。 既存のアプローチでは、LM事前トレーニングに高価な検索固有の修正が必要になるか、あるいは、最適以下のパフォーマンスをもたらすデータストアのポストホック統合を使用する必要がある。 本稿では,第3の選択肢を提供する軽量な微調整手法であるRetrieval-Augmented Dual Instruction Tuning (RA-DIT)を紹介する。
  論文  参考訳（メタデータ） (2023-10-02T17:16:26Z)
• Understanding and Improving Information Transfer in Multi-Task Learning [14.43111978531182]
  すべてのタスクに対して共有モジュール,各タスクに対して別個の出力モジュールを備えたアーキテクチャについて検討する。 タスクデータ間の不一致が負の転送(または性能の低下)を引き起こし、ポジティブな転送に十分な条件を提供することを示す。 理論的洞察から着想を得た結果,タスクの埋め込みレイヤの整合がマルチタスクトレーニングやトランスファー学習のパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-05-02T23:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。