論文の概要: On-the-fly Definition Augmentation of LLMs for Biomedical NER

• arxiv url: http://arxiv.org/abs/2404.00152v1
• Date: Fri, 29 Mar 2024 20:59:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 07:07:01.798738
• Title: On-the-fly Definition Augmentation of LLMs for Biomedical NER
• Title（参考訳）: バイオメディカルNERのためのLCMのオンザフライ定義強化
• Authors: Monica Munnangi, Sergey Feldman, Byron C Wallace, Silvio Amir, Tom Hope, Aakanksha Naik,
• Abstract要約: LLMは、専門用語と訓練データの欠如により、生物医学的なNERタスクに苦慮している。 我々は,関連する概念の定義をオンザフライで組み込んだ知識増強手法を開発した。 注意的なプロンプト戦略はLLMの性能も向上し、微調整された言語モデルを数ショット設定で上回ることができることがわかった。
• 参考スコア（独自算出の注目度）: 28.02028191114401
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite their general capabilities, LLMs still struggle on biomedical NER tasks, which are difficult due to the presence of specialized terminology and lack of training data. In this work we set out to improve LLM performance on biomedical NER in limited data settings via a new knowledge augmentation approach which incorporates definitions of relevant concepts on-the-fly. During this process, to provide a test bed for knowledge augmentation, we perform a comprehensive exploration of prompting strategies. Our experiments show that definition augmentation is useful for both open source and closed LLMs. For example, it leads to a relative improvement of 15\% (on average) in GPT-4 performance (F1) across all (six) of our test datasets. We conduct extensive ablations and analyses to demonstrate that our performance improvements stem from adding relevant definitional knowledge. We find that careful prompting strategies also improve LLM performance, allowing them to outperform fine-tuned language models in few-shot settings. To facilitate future research in this direction, we release our code at https://github.com/allenai/beacon.
• Abstract（参考訳）: それらの一般的な能力にもかかわらず、LLMは、専門用語の存在と訓練データの欠如により難しい生物医学的NERタスクに苦戦している。 本研究は,生物医学的NERにおけるLLMの性能向上を目的として,新たな知識向上手法を提案する。 この過程で知識増強のためのテストベッドを提供するため、我々は戦略の推進を総合的に探究する。 本実験は, オープンソースと閉LLMの両方において, 定義拡張が有用であることを示す。 例えば、テストデータセットの全(6)に対して、GPT-4パフォーマンス(F1)の15倍(平均)の相対的な改善につながります。 私たちは、パフォーマンスの改善が関連する定義知識の追加に起因することを実証するために、広範囲にわたる改善と分析を行います。 注意的なプロンプト戦略はLLMの性能も向上し、微調整された言語モデルを数ショット設定で上回ることができることがわかった。 この方向への今後の研究を促進するため、私たちはhttps://github.com/allenai/beacon.comでコードを公開しています。

関連論文リスト

• AssistRAG: Boosting the Potential of Large Language Models with an Intelligent Information Assistant [23.366991558162695]
  大規模言語モデルは「幻覚」として知られる事実的に誤った情報を生成する これらの課題に対処するため、我々はAssistRAG(AssistRAG)を用いた検索生成支援システムを提案する。 このアシスタントは、ツールの使用、アクションの実行、メモリ構築、プラン仕様を通じて、メモリと知識を管理する。
  論文  参考訳（メタデータ） (2024-11-11T09:03:52Z)
• LLMs are not Zero-Shot Reasoners for Biomedical Information Extraction [13.965777046473885]
  大規模言語モデル(LLM)は、医療分野のアプリケーションにますます採用されている。 LLMがバイオメディカル領域で伝統的に追求されるタスクでどの程度うまく機能するかは不明である。
  論文  参考訳（メタデータ） (2024-08-22T09:37:40Z)
• Supportiveness-based Knowledge Rewriting for Retrieval-augmented Language Modeling [65.72918416258219]
  支援性に基づく知識書き換え(SKR)は、LLM生成に本質的に最適化された堅牢でプラガブルな知識書き換えである。 知識支援に基づき、まず、リライターモデルのためのトレーニングデータキュレーション戦略を設計する。 次に、生成したリライトを最適な支持度に調整するために、直接選好最適化(DPO)アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-06-12T11:52:35Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• MKRAG: Medical Knowledge Retrieval Augmented Generation for Medical Question Answering [45.84961106102445]
  大規模言語モデル(LLM)は、医療質問応答(QA)のようなドメイン固有のタスクでよく機能しないことが多い。 本稿では,医学的事実を外部知識ベースから抽出し,LLMのクエリプロンプトに注入するための総合的検索手法を提案する。 Vicuna-7Bは44.46%から48.54%の精度向上を示した。
  論文  参考訳（メタデータ） (2023-09-27T21:26:03Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Enhancing Small Medical Learners with Privacy-preserving Contextual Prompting [24.201549275369487]
  本稿では,大規模言語モデルの専門知識を活用して,プライバシ制限シナリオ下での医療タスクにおけるSLM性能を向上させる手法を提案する。 具体的には、医療データからキーワードを抽出し、LLMに医療知識集約的なコンテキストを生成することで、患者のプライバシ問題を緩和する。 本手法は,3つの医療知識集約タスクにおいて,数ショットとフルトレーニングの双方において,パフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2023-05-22T05:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。