Fugu-MT 論文翻訳(概要): A Clinical Trial Design Approach to Auditing Language Models in Healthcare Setting

論文の概要: A Clinical Trial Design Approach to Auditing Language Models in Healthcare Setting

arxiv url: http://arxiv.org/abs/2411.16702v2
Date: Wed, 18 Dec 2024 22:48:15 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-20 13:28:47.748473
Title: A Clinical Trial Design Approach to Auditing Language Models in Healthcare Setting
Title（参考訳）: 医療現場における言語モデルに対する臨床的試行的アプローチ
Authors: Lovedeep Gondara, Jonathan Simkin,
Abstract要約: 医療現場に展開する言語モデルの監査機構を提案する。提案手法を用いることで,本手法はサンプルサイズと電力計算の原理に従うことができることを示す。本研究では,大規模公衆衛生ネットワークにおける実運用環境における監査の実例を示す。
参考スコア（独自算出の注目度）: 0.6138671548064356
License:
Abstract: We present an audit mechanism for language models, with a focus on models deployed in the healthcare setting. Our proposed mechanism takes inspiration from clinical trial design where we posit the language model audit as a single blind equivalence trial, with the comparison of interest being the subject matter experts. We show that using our proposed method, we can follow principled sample size and power calculations, leading to the requirement of sampling minimum number of records while maintaining the audit integrity and statistical soundness. Finally, we provide a real-world example of the audit used in a production environment in a large-scale public health network.
Abstract（参考訳）: 本稿では,医療現場に展開するモデルに着目し,言語モデルに対する監査機構を提案する。提案手法は,1つの盲点同値試験として言語モデル監査を仮定する臨床試験設計から着想を得たものである。提案手法を用いることで,本手法はサンプルサイズと電力計算の原理に従うことができ,監査の完全性や統計的健全性を維持しつつ,最小限のレコードをサンプリングする必要があることを示す。最後に,大規模公衆衛生ネットワークにおける実運用環境における監査の実例を示す。

関連論文リスト

Named Clinical Entity Recognition Benchmark [2.9332007863461893]
本報告では, 名前付き臨床エンティティ認識ベンチマークを紹介する。臨床物語から構造化された情報を抽出する重要な自然言語処理(NLP)タスクに対処する。リーダーボードは多様な言語モデルを評価するための標準化されたプラットフォームを提供する。
論文参考訳（メタデータ） (2024-10-07T14:00:18Z)
A Large-Scale Evaluation of Speech Foundation Models [110.95827399522204]
音声処理ユニバーサルパフォーマンスベンチマーク(SUPERB)を構築し,基礎モデルパラダイムの有効性について検討する。凍結基盤モデルを用いてSUPERBにおける音声処理タスクに対処する統合マルチタスクフレームワークを提案する。
論文参考訳（メタデータ） (2024-04-15T00:03:16Z)
Clinical information extraction for Low-resource languages with Few-shot learning using Pre-trained language models and Prompting [12.166472806042592]
臨床資料から医療情報を自動抽出することはいくつかの課題をもたらす。ドメイン適応とプロンプト手法の最近の進歩は、最小限のトレーニングデータで有望な結果を示した。軽量でドメイン適応型事前訓練モデルが20ショットでトリガーされ、従来の分類モデルを30.5%精度で上回っていることを実証する。
論文参考訳（メタデータ） (2024-03-20T08:01:33Z)
Zero-shot Generative Large Language Models for Systematic Review Screening Automation [55.403958106416574]
本研究では,ゼロショット大言語モデルを用いた自動スクリーニングの有効性について検討した。本研究では, 8種類のLCMの有効性を評価し, 予め定義されたリコール閾値を用いた校正手法について検討する。
論文参考訳（メタデータ） (2024-01-12T01:54:08Z)
Show from Tell: Audio-Visual Modelling in Clinical Settings [58.88175583465277]
臨床環境でのオーディオ・ビジュアル・モデリングを考察し、人間の専門的アノテーションを使わずに医学的表現を学習するためのソリューションを提供する。この目的のために, 単純かつ効果的なマルチモーダル自己教師型学習フレームワークを提案する。提案手法は,音声のみを基準として,超音波画像中の解剖学的関心領域をローカライズすることができる。
論文参考訳（メタデータ） (2023-10-25T08:55:48Z)
Bayesian Network Models of Causal Interventions in Healthcare Decision Making: Literature Review and Software Evaluation [16.997060715857987]
本報告では,医療における意思決定を支援するためのベイズ型ネットワークモデルを特定するために,体系的な文献検索の結果を要約する。選択された研究論文は、Wang B, Lyle C, Kwiatkowska Mで開発された因果的介入分析ソフトウェアツールを用いて、分析に適した、公開可能なモデルとデータセットを識別する。
論文参考訳（メタデータ） (2022-11-28T12:22:07Z)
Representational Ethical Model Calibration [0.7078141380481605]
エピステム・エクイティ(英: Epistem equity)は、意思決定におけるインテリジェンスの比較忠実度である。その量化の一般的な枠組みは、言うまでもなく、保証は存在しない。表現倫理モデルのための包括的枠組みを導入する。
論文参考訳（メタデータ） (2022-07-25T10:33:39Z)
Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
論文参考訳（メタデータ） (2021-11-11T16:57:53Z)
Empowering Language Understanding with Counterfactual Reasoning [141.48592718583245]
本稿では,反現実的思考を模倣した反現実的推論モデルを提案する。特に,各実例に対して代表的対実サンプルを生成する生成モジュールを考案し,その対実サンプルと実例サンプルを比較してモデル予測を振り返るレトロスペクティブモジュールを考案した。
論文参考訳（メタデータ） (2021-06-06T06:36:52Z)
Adversarial Sample Enhanced Domain Adaptation: A Case Study on Predictive Modeling with Electronic Health Records [57.75125067744978]
ドメイン適応を容易にするデータ拡張手法を提案する。逆生成したサンプルはドメイン適応時に使用される。その結果,本手法の有効性とタスクの一般性が確認された。
論文参考訳（メタデータ） (2021-01-13T03:20:20Z)
Patient Cohort Retrieval using Transformer Language Models [7.784753717089568]
機能工学やドメインの専門知識を必要とせずに,ニューラルネットワークモデルを用いて患者のコホートを検索するフレームワークを提案する。我々のモデルのほとんどは、様々な評価指標でBM25ベースライン法より優れていることが分かりました。
論文参考訳（メタデータ） (2020-09-10T19:40:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。