論文の概要: ACI-BENCH: a Novel Ambient Clinical Intelligence Dataset for Benchmarking Automatic Visit Note Generation

• arxiv url: http://arxiv.org/abs/2306.02022v1
• Date: Sat, 3 Jun 2023 06:42:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 20:46:23.023734
• Title: ACI-BENCH: a Novel Ambient Clinical Intelligence Dataset for Benchmarking Automatic Visit Note Generation
• Title（参考訳）: ACI-BENCH - 自動訪問ノート生成のベンチマークのための新しい臨床知能データセット
• Authors: Wen-wai Yim, Yujuan Fu, Asma Ben Abacha, Neal Snider, Thomas Lin, and Meliha Yetisgen
• Abstract要約: 訪問対話からAIによるノート生成の問題に対処する上で,これまでで最大のデータセットを提示する。 また、いくつかの一般的な最先端手法のベンチマーク性能を示す。
• 参考スコア（独自算出の注目度）: 4.1331432182859436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent immense breakthroughs in generative models such as in GPT4 have precipitated re-imagined ubiquitous usage of these models in all applications. One area that can benefit by improvements in artificial intelligence (AI) is healthcare. The note generation task from doctor-patient encounters, and its associated electronic medical record documentation, is one of the most arduous time-consuming tasks for physicians. It is also a natural prime potential beneficiary to advances in generative models. However with such advances, benchmarking is more critical than ever. Whether studying model weaknesses or developing new evaluation metrics, shared open datasets are an imperative part of understanding the current state-of-the-art. Unfortunately as clinic encounter conversations are not routinely recorded and are difficult to ethically share due to patient confidentiality, there are no sufficiently large clinic dialogue-note datasets to benchmark this task. Here we present the Ambient Clinical Intelligence Benchmark (ACI-BENCH) corpus, the largest dataset to date tackling the problem of AI-assisted note generation from visit dialogue. We also present the benchmark performances of several common state-of-the-art approaches.
• Abstract（参考訳）: GPT4のような生成モデルにおける最近の画期的なブレークスルーは、これらのモデルのすべてのアプリケーションにおけるユビキタスな利用を思い起こさせた。 人工知能(AI)の改善によって恩恵を受けることができる分野は医療である。 医師と患者の出会いからメモを生成するタスクとその関連する電子医療記録文書は、医師にとって最も困難な時間を要するタスクの1つである。 また、生成モデルの進歩に対する自然な素ポテンシャルの受益者でもある。 しかし、このような進歩により、ベンチマークはこれまでになく重要になる。 モデルの弱点を研究するか、新しい評価指標を開発するかにかかわらず、共有されたデータセットは現在の最先端を理解する上で必須の要素である。 残念ながら、クリニックとの会話は日常的に記録されておらず、患者の機密性のために倫理的に共有することが難しいため、このタスクをベンチマークするには十分な量のクリニックの対話メモデータセットが存在しない。 本稿では,訪問対話からai支援ノート生成の問題に取り組む上で,これまでで最大のデータセットであるaci-bench(aci-bench)コーパスを提案する。 また、いくつかの一般的な最先端手法のベンチマーク性能を示す。

関連論文リスト

• Improving Clinical Documentation with AI: A Comparative Study of Sporo AI Scribe and GPT-4o mini [0.0]
  Sporo HealthのAI書式はOpenAIのGPT-4o Miniに対して評価された。 結果から,スポロAIはGPT-4o Miniを一貫して上回り,リコール率,精度,F1スコア全体を達成した。
  論文  参考訳（メタデータ） (2024-10-20T22:48:40Z)
• Improving Clinical Note Generation from Complex Doctor-Patient Conversation [20.2157016701399]
  大言語モデル(LLM)を用いた臨床ノート作成分野への3つの重要な貢献について述べる。 まず、CliniKnoteを紹介します。CliniKnoteは、1200の複雑な医師と患者との会話と、その全臨床ノートを組み合わせたデータセットです。 第2に,従来のSOAPcitepodder20soap(Subjective, Objective, Assessment, Plan)のメモを上位にキーワードセクションを追加することで,必須情報の迅速な識別を可能にするK-SOAPを提案する。 第3に、医師と患者との会話からK-SOAPノートを生成する自動パイプラインを開発し、様々な近代LCMをベンチマークする。
  論文  参考訳（メタデータ） (2024-08-26T18:39:31Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• README: Bridging Medical Jargon and Lay Understanding for Patient Education through Data-Centric NLP [9.432205523734707]
  医療用語を患者に親しみやすい平易な言語に簡略化することを目的とした,レイ定義の自動生成という新たなタスクを導入する。 このデータセットは、5万以上のユニークな(医療用語、日常の定義)ペアと30万の言及からなる。 また、データフィルタリング、拡張、選択を相乗化してデータ品質を改善する、データ中心のHuman-AIパイプラインも開発しました。
  論文  参考訳（メタデータ） (2023-12-24T23:01:00Z)
• Explainable AI for clinical and remote health applications: a survey on tabular and time series data [3.655021726150368]
  XAIは、特に医療において、さまざまな研究領域やデータタイプに同じ関心を集めていない点に注意が必要だ。 本稿は,過去5年間の文献を概観し,生成した説明のタイプと,それらの関連性や品質を評価するための取り組みについて述べる。
  論文  参考訳（メタデータ） (2022-09-14T10:01:29Z)
• Human Evaluation and Correlation with Automatic Metrics in Consultation Note Generation [56.25869366777579]
  近年,機械学習モデルによる臨床相談ノートの作成が急速に進んでいる。 5人の臨床医が57件のモック・コンサルテーションを聴き、自作のノートを書き、自動的に生成されたノートを編集し、全てのエラーを抽出する、広範囲にわたる人的評価研究を行った。 単純な文字ベースのLevenshtein距離測定は、BertScoreのような一般的なモデルベースの測定値に比較して、同等に動作します。
  論文  参考訳（メタデータ） (2022-04-01T14:04:16Z)
• Towards more patient friendly clinical notes through language models and ontologies [57.51898902864543]
  本稿では,単語の単純化と言語モデリングに基づく医療用テキストの自動作成手法を提案する。 我々は,公開医療文のデータセットペアと,臨床医による簡易化版を用いている。 本手法は,医学フォーラムデータに基づく言語モデルを用いて,文法と本来の意味の両方を保存しながら,より単純な文を生成する。
  論文  参考訳（メタデータ） (2021-12-23T16:11:19Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Biomedical Concept Relatedness -- A large EHR-based benchmark [10.133874724214984]
  医療へのAIの有望な応用は、電子健康記録から情報を取得することである。 このようなアプリケーションに対するAI手法の適合性は、概念の関連性を既知の関連性スコアで予測することによって検証される。 既存の医療概念関連データセットはすべて小さく、手書きのコンセプトペアで構成されている。 これらの問題を克服する新しい概念関連性ベンチマークをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2020-10-30T12:20:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。