Fugu-MT 論文翻訳(概要): A Course Shared Task on Evaluating LLM Output for Clinical Questions

論文の概要: A Course Shared Task on Evaluating LLM Output for Clinical Questions

arxiv url: http://arxiv.org/abs/2408.00122v1
Date: Wed, 31 Jul 2024 19:24:40 GMT
ステータス: 処理完了
システム内更新日: 2024-08-04 22:25:51.425167
Title: A Course Shared Task on Evaluating LLM Output for Clinical Questions
Title（参考訳）: 臨床におけるLCMのアウトプット評価に関する共通課題
Authors: Yufang Hou, Thy Thy Tran, Doan Nam Long Vu, Yiwen Cao, Kai Li, Lukas Rohde, Iryna Gurevych,
Abstract要約: 本稿では,健康関連臨床問題に対する有害な回答を生成するために,LLM(Large Language Models)の出力を評価することに焦点を当てた。課題設計について考察し,学生からのフィードバックを報告する。
参考スコア（独自算出の注目度）: 49.78601596538669
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: This paper presents a shared task that we organized at the Foundations of Language Technology (FoLT) course in 2023/2024 at the Technical University of Darmstadt, which focuses on evaluating the output of Large Language Models (LLMs) in generating harmful answers to health-related clinical questions. We describe the task design considerations and report the feedback we received from the students. We expect the task and the findings reported in this paper to be relevant for instructors teaching natural language processing (NLP) and designing course assignments.
Abstract（参考訳）: 本稿では, ダームシュタット工科大学における2023/2024年のFoLT講座において, 健康関連臨床問題に対する有害な回答を生み出すために, LLM(Large Language Models)のアウトプットを評価することを目的とした共通課題について述べる。課題設計について考察し,学生からのフィードバックを報告する。本論文では,自然言語処理(NLP)とデザインコースの課題について,その課題と成果について考察する。

関連論文リスト

Demystifying Large Language Models for Medicine: A Primer [50.83806796466396]
大規模言語モデル(LLM)は、医療のさまざまな側面に革命をもたらすことのできる、変革的なAIツールのクラスである。本チュートリアルは、LSMを臨床実践に効果的に統合するために必要なツールを医療専門家に提供することを目的としている。
論文参考訳（メタデータ） (2024-10-24T15:41:56Z)
HealthQ: Unveiling Questioning Capabilities of LLM Chains in Healthcare Conversations [23.09755446991835]
デジタル医療において、大きな言語モデル(LLM)は質問応答能力を高めるために主に利用されてきた。本稿では,LLMヘルスケアチェーンの問合せ能力を評価するための新しいフレームワークであるHealthQを提案する。
論文参考訳（メタデータ） (2024-09-28T23:59:46Z)
SemEval-2024 Task 2: Safe Biomedical Natural Language Inference for Clinical Trials [13.59675117792588]
SemEval-2024 Task 2: Safe Biomedical Natural Language Inference for ClinicalTrialsについて紹介する。我々の貢献には、改良されたNLI4CT-Pデータセット(Natural Language Inference for Clinical Trials - Perturbed)が含まれる。このタスクに登録された参加者は合計106人であり、1200以上の個人申請と25のシステム概要書に貢献している。このイニシアチブは、医療におけるNLIモデルの堅牢性と適用性を向上し、臨床意思決定におけるより安全で信頼性の高いAIアシストを保証することを目的としている。
論文参考訳（メタデータ） (2024-04-07T13:58:41Z)
Overview of the PromptCBLUE Shared Task in CHIP2023 [26.56584015791646]
本稿では,CHIP-2023会議におけるPromptC BLUE共有タスクの概要について述べる。一般的な医学自然言語処理において、中国のオープンドメインや医学ドメインの大規模言語モデル(LLM)に優れたテストベッドを提供する。本稿では,タスク,データセット,評価指標,および両タスクの上位システムについて述べる。
論文参考訳（メタデータ） (2023-12-29T09:05:00Z)
A Zero-shot and Few-shot Study of Instruction-Finetuned Large Language Models Applied to Clinical and Biomedical Tasks [7.542019351929903]
我々は4つの言語モデル(LLM)を評価する。英語における13のリアル・ワールド・クリニカル・バイオメディカル・自然言語処理(NLP)タスクについて
論文参考訳（メタデータ） (2023-07-22T15:58:17Z)
Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A Preliminary Study on Writing Assistance [60.40541387785977]
小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
論文参考訳（メタデータ） (2023-05-22T16:56:44Z)
Are Large Language Models Ready for Healthcare? A Comparative Study on Clinical Language Understanding [12.128991867050487]
大規模言語モデル(LLM)は、医療を含む様々な分野で大きな進歩を遂げている。本研究では,臨床言語理解タスクの領域における最先端LCMの評価を行った。
論文参考訳（メタデータ） (2023-04-09T16:31:47Z)
Retrieval-Augmented and Knowledge-Grounded Language Models for Faithful Clinical Medicine [68.7814360102644]
本稿では,Re$3$Writer法を提案する。本手法が患者の退院指示生成に有効であることを示す。
論文参考訳（メタデータ） (2022-10-23T16:34:39Z)
ITTC @ TREC 2021 Clinical Trials Track [54.141379782822206]
本課題は、患者の入院ノートの要約を構成するトピックに有効な臨床試験を適合させる問題に焦点を当てる。 NLP手法を用いて試行とトピックの表現方法を探索し、共通の検索モデルを用いて各トピックに関連するトライアルのランク付けリストを生成する。提案されたすべての実行の結果は、すべてのトピックの中央値よりもはるかに上回っていますが、改善の余地はたくさんあります。
論文参考訳（メタデータ） (2022-02-16T04:56:47Z)
Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文参考訳（メタデータ） (2021-08-02T10:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。