Fugu-MT 論文翻訳(概要): LLM-Based Section Identifiers Excel on Open Source but Stumble in Real World Applications

論文の概要: LLM-Based Section Identifiers Excel on Open Source but Stumble in Real World Applications

arxiv url: http://arxiv.org/abs/2404.16294v1
Date: Thu, 25 Apr 2024 02:25:35 GMT
ステータス: 処理完了
システム内更新日: 2024-04-26 14:58:12.978444
Title: LLM-Based Section Identifiers Excel on Open Source but Stumble in Real World Applications
Title（参考訳）: LLMによるExcelのオープンソース化と実世界の応用
Authors: Saranya Krishnamoorthy, Ayush Singh, Shabnam Tafreshi,
Abstract要約: GPT-4は、ゼロと少数ショットの両方の設定で効果的にタスクを解くことができる。私たちはまた、より難しい現実世界のデータセットに注釈を付け、GPT-4がうまく機能するのに苦労していることに気付きました。
参考スコア（独自算出の注目度）: 2.148998052687786
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Electronic health records (EHR) even though a boon for healthcare practitioners, are growing convoluted and longer every day. Sifting around these lengthy EHRs is taxing and becomes a cumbersome part of physician-patient interaction. Several approaches have been proposed to help alleviate this prevalent issue either via summarization or sectioning, however, only a few approaches have truly been helpful in the past. With the rise of automated methods, machine learning (ML) has shown promise in solving the task of identifying relevant sections in EHR. However, most ML methods rely on labeled data which is difficult to get in healthcare. Large language models (LLMs) on the other hand, have performed impressive feats in natural language processing (NLP), that too in a zero-shot manner, i.e. without any labeled data. To that end, we propose using LLMs to identify relevant section headers. We find that GPT-4 can effectively solve the task on both zero and few-shot settings as well as segment dramatically better than state-of-the-art methods. Additionally, we also annotate a much harder real world dataset and find that GPT-4 struggles to perform well, alluding to further research and harder benchmarks.
Abstract（参考訳）: エレクトロニック・ヘルス・レコーズ(EHR)は、医療従事者にとって恩恵でありながら、毎日悪化し、より長くなっている。これらの長い EHR の周りに座ることが課税され、医師と患者の相互作用の面倒な部分になる。要約や分割によって、この問題を緩和するためにいくつかのアプローチが提案されているが、過去には本当に役立つアプローチはいくつかしかなかった。自動化手法の台頭により、機械学習(ML)は、EHRの関連するセクションを特定するタスクの解決において、有望であることが示されている。しかし、ほとんどのMLメソッドは、医療で入手するのが困難なラベル付きデータに依存している。一方、LLM(Large Language Model)は自然言語処理(NLP)において、ラベル付きデータを持たないゼロショット方式でも素晴らしい成果を上げている。そこで本研究では,LLMを用いて関連するセクションヘッダを識別する手法を提案する。 GPT-4は、ゼロと少数ショットの両方の設定のタスクを効果的に解き、セグメントは最先端の手法よりも劇的に改善できることがわかった。さらに、我々は、より厳しい実世界のデータセットに注釈を付け、GPT-4は、さらなる研究とより厳しいベンチマークのために、うまく機能するのに苦労していることに気付きました。

関連論文リスト

MEG: Medical Knowledge-Augmented Large Language Models for Question Answering [37.3562521243773]
本稿では,医療知識を付加したLCMのパラメータ効率向上手法であるMEGを提案する。本手法は,4つの医用マルチチョイスデータセットを用いて評価する。
論文参考訳（メタデータ） (2024-11-06T12:57:58Z)
Large language models enabled multiagent ensemble method for efficient EHR data labeling [9.481473827205159]
本研究では,MLにおける重要な課題であるデータラベリングに対処するため,LLMを用いた新しいマルチエージェントアンサンブル手法を提案する。アンサンブルLLMと自然言語処理を用いて、推定精度98.2%の623,566ECGのMIMIC-IV ECGデータセットをラベル付けした。我々は,1,405EHR臨床ノートの社会史セクションからSDOHを同定するために,アンサンブルLLMs法を適用し,競争性能も向上した。
論文参考訳（メタデータ） (2024-10-21T22:12:00Z)
LlamaCare: A Large Medical Language Model for Enhancing Healthcare Knowledge Sharing [0.0]
24G GPUでChatGPTと同等の性能を示した。 PubMedQAやUSMLE 1-3など,いくつかのベンチマークを対象としたワンショットおよび数ショットトレーニングのための処理データをリリースしました。
論文参考訳（メタデータ） (2024-06-04T14:24:53Z)
Can GPT Redefine Medical Understanding? Evaluating GPT on Biomedical Machine Reading Comprehension [2.3231783764387566]
大規模言語モデル(LLM)は、異なる領域における多くのタスクにおいて顕著なパフォーマンスを示している。本研究では,4つの閉書バイオメディカル機械読解ベンチマークを用いてGPTの評価を行った。本稿では,ベクトルデータベースの利用を緩和するImplicit Retrieval Augmented Generation (RAG) というプロンプト戦略を提案する。
論文参考訳（メタデータ） (2024-05-29T01:12:53Z)
MiniCheck: Efficient Fact-Checking of LLMs on Grounding Documents [62.02920842630234]
GPT-4レベルの性能を持つが400倍の低コストでファクトチェックモデルを構築する方法を示す。 GPT-4を用いて合成トレーニングデータを構築することで,現実的かつ困難な事実エラーの事例を生成する。評価のために, ファクトチェックとグラウンドグラウンド化に関する最近の研究から得られたデータセットを, 新たなベンチマーク LLM-AggreFact に統一する。
論文参考訳（メタデータ） (2024-04-16T17:59:10Z)
Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文参考訳（メタデータ） (2024-02-05T08:25:22Z)
MedAlign: A Clinician-Generated Dataset for Instruction Following with Electronic Medical Records [60.35217378132709]
大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
論文参考訳（メタデータ） (2023-08-27T12:24:39Z)
Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文参考訳（メタデータ） (2023-05-30T22:05:11Z)
Persistent Laplacian-enhanced Algorithm for Scarcely Labeled Data Classification [2.8360662552057323]
永続ラプラシア拡張グラフMBO (PL-MBO) と呼ばれる半教師付き手法を提案する。 PL-MBOは、永続スペクトルグラフ理論と古典的なメリマン・バーンス=オッシャースキームを統合する。データ分類における提案手法の性能評価を行った。
論文参考訳（メタデータ） (2023-05-25T16:49:40Z)
Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文参考訳（メタデータ） (2023-05-22T16:00:00Z)
Active learning for medical code assignment [55.99831806138029]
臨床領域における多ラベルテキスト分類におけるアクティブラーニング(AL)の有効性を示す。 MIMIC-IIIデータセットにICD-9コードを自動的に割り当てるために、よく知られたALメソッドのセットを適用します。その結果、有益なインスタンスの選択は、大幅に減少したトレーニングセットで満足のいく分類を提供する。
論文参考訳（メタデータ） (2021-04-12T18:11:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。