論文の概要: ACI-BENCH: a Novel Ambient Clinical Intelligence Dataset for
Benchmarking Automatic Visit Note Generation
- arxiv url: http://arxiv.org/abs/2306.02022v1
- Date: Sat, 3 Jun 2023 06:42:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 20:46:23.023734
- Title: ACI-BENCH: a Novel Ambient Clinical Intelligence Dataset for
Benchmarking Automatic Visit Note Generation
- Title(参考訳): ACI-BENCH - 自動訪問ノート生成のベンチマークのための新しい臨床知能データセット
- Authors: Wen-wai Yim, Yujuan Fu, Asma Ben Abacha, Neal Snider, Thomas Lin, and
Meliha Yetisgen
- Abstract要約: 訪問対話からAIによるノート生成の問題に対処する上で,これまでで最大のデータセットを提示する。
また、いくつかの一般的な最先端手法のベンチマーク性能を示す。
- 参考スコア(独自算出の注目度): 4.1331432182859436
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent immense breakthroughs in generative models such as in GPT4 have
precipitated re-imagined ubiquitous usage of these models in all applications.
One area that can benefit by improvements in artificial intelligence (AI) is
healthcare. The note generation task from doctor-patient encounters, and its
associated electronic medical record documentation, is one of the most arduous
time-consuming tasks for physicians. It is also a natural prime potential
beneficiary to advances in generative models. However with such advances,
benchmarking is more critical than ever. Whether studying model weaknesses or
developing new evaluation metrics, shared open datasets are an imperative part
of understanding the current state-of-the-art. Unfortunately as clinic
encounter conversations are not routinely recorded and are difficult to
ethically share due to patient confidentiality, there are no sufficiently large
clinic dialogue-note datasets to benchmark this task. Here we present the
Ambient Clinical Intelligence Benchmark (ACI-BENCH) corpus, the largest dataset
to date tackling the problem of AI-assisted note generation from visit
dialogue. We also present the benchmark performances of several common
state-of-the-art approaches.
- Abstract(参考訳): GPT4のような生成モデルにおける最近の画期的なブレークスルーは、これらのモデルのすべてのアプリケーションにおけるユビキタスな利用を思い起こさせた。
人工知能(AI)の改善によって恩恵を受けることができる分野は医療である。
医師と患者の出会いからメモを生成するタスクとその関連する電子医療記録文書は、医師にとって最も困難な時間を要するタスクの1つである。
また、生成モデルの進歩に対する自然な素ポテンシャルの受益者でもある。
しかし、このような進歩により、ベンチマークはこれまでになく重要になる。
モデルの弱点を研究するか、新しい評価指標を開発するかにかかわらず、共有されたデータセットは現在の最先端を理解する上で必須の要素である。
残念ながら、クリニックとの会話は日常的に記録されておらず、患者の機密性のために倫理的に共有することが難しいため、このタスクをベンチマークするには十分な量のクリニックの対話メモデータセットが存在しない。
本稿では,訪問対話からai支援ノート生成の問題に取り組む上で,これまでで最大のデータセットであるaci-bench(aci-bench)コーパスを提案する。
また、いくつかの一般的な最先端手法のベンチマーク性能を示す。
関連論文リスト
- Zero-shot and Few-shot Generation Strategies for Artificial Clinical Records [1.338174941551702]
本研究は,Llama 2 LLMが患者情報を正確に反映した合成医療記録を作成する能力を評価するものである。
筆者らは,MIMIC-IVデータセットから得られたデータを用いて,現在史の物語を生成することに重点を置いている。
このチェーン・オブ・シークレットのアプローチにより、ゼロショットモデルが、ルージュのメトリクス評価に基づいて、微調整されたモデルと同等の結果が得られることが示唆された。
論文 参考訳(メタデータ) (2024-03-13T16:17:09Z) - README: Bridging Medical Jargon and Lay Understanding for Patient
Education through Data-Centric NLP [9.746045026596638]
医療用語を患者に親しみやすい平易な言語に簡略化することを目的とした,レイ定義の自動生成という新たなタスクを導入する。
私たちはまず、2万以上のユニークな医療用語と30万件の言及からなるデータセットを作成しました。
また、データフィルタリング、拡張、選択を相乗化してデータ品質を改善する、データ中心のHuman-AIパイプラインも開発しました。
論文 参考訳(メタデータ) (2023-12-24T23:01:00Z) - Explainable AI for clinical and remote health applications: a survey on
tabular and time series data [3.655021726150368]
XAIは、特に医療において、さまざまな研究領域やデータタイプに同じ関心を集めていない点に注意が必要だ。
本稿は,過去5年間の文献を概観し,生成した説明のタイプと,それらの関連性や品質を評価するための取り組みについて述べる。
論文 参考訳(メタデータ) (2022-09-14T10:01:29Z) - ICDBigBird: A Contextual Embedding Model for ICD Code Classification [71.58299917476195]
文脈単語埋め込みモデルは、複数のNLPタスクにおいて最先端の結果を得た。
ICDBigBirdは、Graph Convolutional Network(GCN)を統合するBigBirdベースのモデルである。
ICD分類作業におけるBigBirdモデルの有効性を実世界の臨床データセットで実証した。
論文 参考訳(メタデータ) (2022-04-21T20:59:56Z) - Human Evaluation and Correlation with Automatic Metrics in Consultation
Note Generation [56.25869366777579]
近年,機械学習モデルによる臨床相談ノートの作成が急速に進んでいる。
5人の臨床医が57件のモック・コンサルテーションを聴き、自作のノートを書き、自動的に生成されたノートを編集し、全てのエラーを抽出する、広範囲にわたる人的評価研究を行った。
単純な文字ベースのLevenshtein距離測定は、BertScoreのような一般的なモデルベースの測定値に比較して、同等に動作します。
論文 参考訳(メタデータ) (2022-04-01T14:04:16Z) - Benchmark datasets driving artificial intelligence development fail to
capture the needs of medical professionals [4.799783526620609]
臨床およびバイオメディカル自然言語処理(NLP)の幅広い領域に関するデータセットとベンチマークのカタログを公開した。
450のNLPデータセットが手動で体系化され、豊富なメタデータで注釈付けされた。
我々の分析は、AIベンチマークの直接臨床関連性は乏しく、臨床医が対応したい仕事のほとんどをカバーできないことを示唆している。
論文 参考訳(メタデータ) (2022-01-18T15:05:28Z) - Towards more patient friendly clinical notes through language models and
ontologies [57.51898902864543]
本稿では,単語の単純化と言語モデリングに基づく医療用テキストの自動作成手法を提案する。
我々は,公開医療文のデータセットペアと,臨床医による簡易化版を用いている。
本手法は,医学フォーラムデータに基づく言語モデルを用いて,文法と本来の意味の両方を保存しながら,より単純な文を生成する。
論文 参考訳(メタデータ) (2021-12-23T16:11:19Z) - Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。
目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。
本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文 参考訳(メタデータ) (2021-08-02T10:42:52Z) - CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
中国初のバイオメディカル言語理解評価ベンチマークを提示する。
名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。
本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
論文 参考訳(メタデータ) (2021-06-15T12:25:30Z) - Biomedical Concept Relatedness -- A large EHR-based benchmark [10.133874724214984]
医療へのAIの有望な応用は、電子健康記録から情報を取得することである。
このようなアプリケーションに対するAI手法の適合性は、概念の関連性を既知の関連性スコアで予測することによって検証される。
既存の医療概念関連データセットはすべて小さく、手書きのコンセプトペアで構成されている。
これらの問題を克服する新しい概念関連性ベンチマークをオープンソースとして公開しています。
論文 参考訳(メタデータ) (2020-10-30T12:20:18Z) - MedDG: An Entity-Centric Medical Consultation Dataset for Entity-Aware
Medical Dialogue Generation [86.38736781043109]
MedDGという12種類の消化器疾患に関連する大規模医用対話データセットを構築し,公開する。
MedDGデータセットに基づく2種類の医療対話タスクを提案する。1つは次のエンティティ予測であり、もう1つは医師の反応生成である。
実験結果から,プレトレイン言語モデルと他のベースラインは,両方のタスクに苦戦し,データセットの性能が劣ることがわかった。
論文 参考訳(メタデータ) (2020-10-15T03:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。