論文の概要: A chart review process aided by natural language processing and multi-wave adaptive sampling to expedite validation of code-based algorithms for large database studies
- arxiv url: http://arxiv.org/abs/2507.22943v1
- Date: Fri, 25 Jul 2025 17:11:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-01 17:19:08.320042
- Title: A chart review process aided by natural language processing and multi-wave adaptive sampling to expedite validation of code-based algorithms for large database studies
- Title（参考訳）: 自然言語処理とマルチウェーブ適応サンプリングによる大規模データベース研究のためのコードベースアルゴリズムの高速検証を支援するチャートレビュープロセス
- Authors: Shirley V Wang, Georg Hahn, Sushama Kattinakere Sreedhara, Mufaddal Mahesri, Haritha S. Pillai, Rajendra Aldis, Joyce Lii, Sarah K. Dutcher, Rhoda Eniafe, Jamal T. Jones, Keewan Kim, Jiwei He, Hana Lee, Sengwee Toh, Rishi J Desai, Jie Yang,
- Abstract要約: 本稿では,人間レビュアーによる各チャートのレビューに要する時間を短縮するプロセスについて述べる。
本プロセスは,意図的自己修復のためのクレームに基づく結果アルゴリズムの性能を検証したケーススタディである。
- 参考スコア（独自算出の注目度）: 3.452275310496547
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Background: One of the ways to enhance analyses conducted with large claims databases is by validating the measurement characteristics of code-based algorithms used to identify health outcomes or other key study parameters of interest. These metrics can be used in quantitative bias analyses to assess the robustness of results for an inferential study given potential bias from outcome misclassification. However, extensive time and resource allocation are typically re-quired to create reference-standard labels through manual chart review of free-text notes from linked electronic health records. Methods: We describe an expedited process that introduces efficiency in a validation study us-ing two distinct mechanisms: 1) use of natural language processing (NLP) to reduce time spent by human reviewers to review each chart, and 2) a multi-wave adaptive sampling approach with pre-defined criteria to stop the validation study once performance characteristics are identified with sufficient precision. We illustrate this process in a case study that validates the performance of a claims-based outcome algorithm for intentional self-harm in patients with obesity. Results: We empirically demonstrate that the NLP-assisted annotation process reduced the time spent on review per chart by 40% and use of the pre-defined stopping rule with multi-wave samples would have prevented review of 77% of patient charts with limited compromise to precision in derived measurement characteristics. Conclusion: This approach could facilitate more routine validation of code-based algorithms used to define key study parameters, ultimately enhancing understanding of the reliability of find-ings derived from database studies.
- Abstract（参考訳）: 背景: 大規模クレームデータベースを用いた分析を強化する方法の1つは、健康結果や他の重要な研究パラメータを特定するために使用されるコードベースのアルゴリズムの測定特性を検証することである。
これらの指標は、結果の誤分類から潜在的なバイアスが与えられた推論研究において、結果のロバスト性を評価するために定量的バイアス分析に使用できる。
しかしながら、広範囲の時間とリソース割り当ては、典型的には、リンクされた電子健康記録から自由テキストノートを手動でレビューすることで、参照標準ラベルを作成するために要求される。
方法: 検証研究において, 2つの異なるメカニズムを用いて, 効率を向上するプロセスについて述べる。
1)ナチュラル・ランゲージ・プロセッシング(NLP)を用いて、人間レビュアーが各チャートをレビューするのに費やす時間を短縮し、
2) 性能特性が十分な精度で特定された場合, 評価試験を中止するための事前基準付きマルチウェーブ適応サンプリング手法を提案する。
本研究は,肥満患者に対する意図的自己修復のためのクレームベース結果アルゴリズムの性能を評価するケーススタディである。
結果: NLPによるアノテーション処理により, チャート毎のレビューに費やした時間を40%削減し, マルチウェーブサンプルを用いた事前定義された停止規則を用いることで, 導出特性の精度に限界がある患者チャートの77%のレビューを防止できた。
結論: このアプローチは、キースタディパラメータを定義するために使用されるコードベースのアルゴリズムのより定期的な検証を促進し、最終的には、データベース研究から派生した検索の信頼性の理解を深める。
関連論文リスト
- On the Interconnections of Calibration, Quantification, and Classifier Accuracy Prediction under Dataset Shift [58.91436551466064]
本稿では,データセットシフト条件下でのキャリブレーションと定量化の3つの基本問題間の相互接続について検討する。
これらのタスクのいずれか1つに対するオラクルへのアクセスは、他の2つのタスクの解決を可能にすることを示す。
本稿では,他の分野から借用した高度に確立された手法の直接適応に基づく各問題に対する新しい手法を提案する。
論文 参考訳（メタデータ） (2025-05-16T15:42:55Z) - An extensive simulation study evaluating the interaction of resampling techniques across multiple causal discovery contexts [2.0946534289186842]
本稿では,アルゴリズムのチューニングパラメータに対する特定の値の割り当てをエミュレートする再サンプリング手法を提案する。
また,理論結果を検証し,重要なデータを提供する広範囲なシミュレーション実験の結果についても報告する。
論文 参考訳（メタデータ） (2025-03-19T17:18:18Z) - Improving Bias Correction Standards by Quantifying its Effects on Treatment Outcomes [54.18828236350544]
Propensity score matching (PSM) は、分析のために同等の人口を選択することで選択バイアスに対処する。
異なるマッチング手法は、すべての検証基準を満たす場合でも、同じタスクに対する平均処理効果(ATE)を著しく異なるものにすることができる。
この問題に対処するため,新しい指標A2Aを導入し,有効試合数を削減した。
論文 参考訳（メタデータ） (2024-07-20T12:42:24Z) - A New Benchmark and Reverse Validation Method for Passage-level
Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。
本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。
提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文 参考訳（メタデータ） (2023-10-10T10:14:59Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳（メタデータ） (2023-05-30T22:05:11Z) - Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。
また、局所的な一貫性の結果に基づいた理論的保証も提供する。
この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文 参考訳（メタデータ） (2022-11-17T15:48:06Z) - Generalization bounds and algorithms for estimating conditional average
treatment effect of dosage [13.867315751451494]
本研究では,治療薬対の条件付き平均因果効果を観測データと仮定の組み合わせで推定する作業について検討した。
これは疫学や経済学など、意思決定のために治療薬対を必要とする分野における長年にわたる課題である。
この問題に対するいくつかのベンチマークデータセットに対して、実証的に新しい最先端のパフォーマンス結果を示す。
論文 参考訳（メタデータ） (2022-05-29T15:26:59Z) - Information-Theoretic Bias Reduction via Causal View of Spurious
Correlation [71.9123886505321]
本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。
本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。
提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
論文 参考訳（メタデータ） (2022-01-10T01:19:31Z) - Efficient Estimation and Evaluation of Prediction Rules in
Semi-Supervised Settings under Stratified Sampling [6.930951733450623]
本稿では,2段階の半教師付き学習(SSL)手法を提案する。
ステップIでは、非ランダムサンプリングを考慮した非線形基底関数による重み付き回帰により、欠落ラベルをインプットする。
ステップIIでは、結果の予測器の整合性を確保するために、初期計算を増強する。
論文 参考訳（メタデータ） (2020-10-19T12:54:45Z) - Probabilistic Diagnostic Tests for Degradation Problems in Supervised
Learning [0.0]
分類アルゴリズムにおけるクラス不均衡、重なり合い、小さな分散、ノイズラベル、スパース限界精度などの問題。
各問題の兆候と症状の同定に基づく確率診断モデルを示す。
いくつかの教師付きアルゴリズムの動作と性能は、トレーニングセットにそのような問題がある場合に研究される。
論文 参考訳（メタデータ） (2020-04-06T20:32:35Z) - Overly Optimistic Prediction Results on Imbalanced Data: a Case Study of
Flaws and Benefits when Applying Over-sampling [13.463035357173045]
データを相互に排他的なトレーニングとテストセットに分割する前にオーバーサンプリングを適用する。
この結果が,2つの人工データセットを用いて偏りを生じさせ,この欠陥が同定された研究結果を再現することを示す。
論文 参考訳（メタデータ） (2020-01-15T12:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。