論文の概要: An Unsupervised Natural Language Processing Pipeline for Assessing Referral Appropriateness
- arxiv url: http://arxiv.org/abs/2501.14701v2
- Date: Thu, 04 Sep 2025 15:11:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-05 14:03:58.642079
- Title: An Unsupervised Natural Language Processing Pipeline for Assessing Referral Appropriateness
- Title（参考訳）: 参照適性評価のための教師なし自然言語処理パイプライン
- Authors: Vittorio Torri, Annamaria Bottelli, Michele Ercolanoni, Olivia Leoni, Francesca Ieva,
- Abstract要約: 本稿では,参照理由の抽出と評価が可能な,完全に教師なしの自然言語処理パイプラインを提案する。
我々のパイプラインは、イタリアの医療用テキストで事前訓練されたTransformerベースの埋め込みを活用して、参照の理由をクラスタ化する。
教師なしの環境で動作し、さまざまな試験タイプにまたがって一般化されるように設計されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Objective: Assessing the appropriateness of diagnostic referrals is critical for improving healthcare efficiency and reducing unnecessary procedures. However, this task becomes challenging when referral reasons are recorded only as free text rather than structured codes, like in the Italian NHS. To address this gap, we propose a fully unsupervised Natural Language Processing (NLP) pipeline capable of extracting and evaluating referral reasons without relying on labelled datasets. Methods: Our pipeline leverages Transformer-based embeddings pre-trained on Italian medical texts to cluster referral reasons and assess their alignment with appropriateness guidelines. It operates in an unsupervised setting and is designed to generalize across different examination types. We analyzed two complete regional datasets from the Lombardy Region (Italy), covering all referrals between 2019 and 2021 for venous echocolordoppler of the lower limbs (ECD;n=496,971; development) and flexible endoscope colonoscopy (FEC; n=407,949; testing only). For both, a random sample of 1,000 referrals was manually annotated to measure performance. Results: The pipeline achieved high performance in identifying referral reasons (Prec=92.43% (ECD), 93.59% (FEC); Rec=83.28% (ECD), 92.70% (FEC)) and appropriateness (Prec=93.58% (ECD), 94.66% (FEC); Rec=91.52% (ECD), 93.96% (FEC)). At the regional level, the analysis identified relevant inappropriate referral groups and variation across contexts, findings that informed a new Lombardy Region resolution to reinforce guideline adherence. Conclusions: This study presents a robust, scalable, unsupervised NLP pipeline for assessing referral appropriateness in large, real-world datasets. It demonstrates how such data can be effectively leveraged, providing public health authorities with a deployable AI tool to monitor practices and support evidence-based policy.
- Abstract（参考訳）: 目的: 診断基準の適切性を評価することは, 医療効率の向上と不要な処置の軽減に重要である。
しかし、イタリアのNHSのような構造化コードではなく、フリーテキストとしてのみ参照理由が記録されると、この課題は難しくなる。
このギャップに対処するために,ラベル付きデータセットに頼ることなく参照理由を抽出し,評価できる,完全に教師なしの自然言語処理(NLP)パイプラインを提案する。
方法:本パイプラインでは,イタリアの医療用テキストに予めトレーニングしたTransformerベースの埋め込みを活用し,参照理由のクラスタ化と適切なガイドラインとの整合性の評価を行う。
教師なしの環境で動作し、さまざまな試験タイプにまたがって一般化されるように設計されている。
下肢静脈エコーカラードップラー(ECD;n=496,971; 発達)とフレキシブル内視鏡内視鏡(FEC; n=407,949; 検査のみ)について,2019年から2021年までの全レファラルを調査した。
どちらの場合も、1,000個の基準のランダムなサンプルを手動でアノテートし、性能を測定した。
結果: パイプラインは参照理由(Prec=92.43%(ECD), 93.59%(FEC), Rec=83.28%(ECD), 92.70%(FEC), 適切性(Prec=93.58%(ECD), 94.66%(FEC), Rec=91.52%(ECD), 93.96%(FEC)の判定で高い性能を示した。
地域レベルでは、この分析は適切な参照グループとコンテキスト間の変動を同定し、新しいロンバルディア地域解決法がガイドラインの順守を強化することを知らせた。
結論:本研究では,大規模な実世界のデータセットにおける参照適性を評価するための,堅牢でスケーラブルで教師なしのNLPパイプラインを提案する。
このツールは、そのようなデータを効果的に活用する方法を示し、公衆衛生当局に、プラクティスを監視し、エビデンスベースのポリシーをサポートするためのデプロイ可能なAIツールを提供する。
関連論文リスト
- Rethinking Evidence Hierarchies in Medical Language Benchmarks: A Critical Evaluation of HealthBench [0.0]
HealthBenchは、健康のためにAIシステムの能力を測定するために設計されたベンチマークである。
高レベルな臨床的証拠ではなく、専門家の意見に頼っているため、地域バイアスと個々の臨床医の同調を表わすリスクがある。
本稿では,体系的レビューとGRADEエビデンス評価を取り入れたバージョン管理臨床ガイドラインにおいて,報酬関数のアンカー化を提案する。
論文 参考訳（メタデータ） (2025-07-31T18:16:10Z) - Uncertainty-Driven Expert Control: Enhancing the Reliability of Medical Vision-Language Models [52.2001050216955]
既存の方法は、モデル構造を調整したり、高品質なデータで微調整したり、好みの微調整によって、医療ビジョン言語モデル(MedVLM)の性能を向上させることを目的としている。
我々は,MedVLMと臨床専門知識の連携を図るために,Expert-Controlled-Free Guidance (Expert-CFG) という,ループ内のエキスパート・イン・ザ・ループフレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-12T09:03:30Z) - Pitfalls of topology-aware image segmentation [81.19923502845441]
我々は、不適切な接続選択、見過ごされたトポロジカルアーティファクト、評価指標の不適切な使用を含むモデル評価における致命的な落とし穴を同定する。
本稿では,トポロジを意識した医用画像分割手法の公正かつ堅牢な評価基準を確立するための,行動可能なレコメンデーションセットを提案する。
論文 参考訳（メタデータ） (2024-12-19T08:11:42Z) - A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。
自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。
意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
論文 参考訳（メタデータ） (2024-11-13T01:12:35Z) - Unintentional Unalignment: Likelihood Displacement in Direct Preference Optimization [60.176008034221404]
直接選好最適化(DPO)とその変種は、言語モデルと人間の選好の整合にますます利用されている。
以前の研究では、トレーニング中に好まれる反応の可能性が減少する傾向が見られた。
確率変位は破滅的になりうることを示し、確率質量を好ましくない反応から反対の意味の反応へとシフトさせる。
論文 参考訳（メタデータ） (2024-10-11T14:22:44Z) - Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。
当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。
本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
論文 参考訳（メタデータ） (2024-10-10T16:01:51Z) - Towards Fairer Health Recommendations: finding informative unbiased samples via Word Sense Disambiguation [3.328297368052458]
LLMを含むNLPモデルを用いて,医療カリキュラムのバイアス検出に取り組む。
大規模コーパスからの偏見を医学専門家が注釈した4,105点の抜粋を含む金標準データセットで評価した。
論文 参考訳（メタデータ） (2024-09-11T17:10:20Z) - MedAlign: A Clinician-Generated Dataset for Instruction Following with
Electronic Medical Records [60.35217378132709]
大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。
医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。
我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
論文 参考訳（メタデータ） (2023-08-27T12:24:39Z) - Optimal Treatment Regimes for Proximal Causal Learning [7.672587258250301]
そこで本研究では,橋梁における結果と治療の相違に基づく最適な個別化治療体制を提案する。
この新たな最適治療体制の価値関数は,文献上に存在するものよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-12-19T14:29:25Z) - Exploring Optimal Granularity for Extractive Summarization of
Unstructured Health Records: Analysis of the Largest Multi-Institutional
Archive of Health Records in Japan [25.195233641408233]
「処分要約」は要約の有望な応用の1つである。
要約が構造されていないソースからどのように生成されるべきかは、まだ不明である。
本研究は,要約における最適粒度を同定することを目的とした。
論文 参考訳（メタデータ） (2022-09-20T23:26:02Z) - Interpretable Machine Learning for Resource Allocation with Application to Ventilator Triage [6.751130449661001]
不足する救命資源をトリアージするための明確なガイドラインは、透明性、信頼、一貫性を促進するために設計されなければならない。
我々はマルコフ決定プロセスのポリシーに基づく解釈可能なトリアージガイドラインを計算するための新しいデータ駆動モデルを提案する。
人工呼吸器の不足に伴う過度の死亡件数は,我々の方針により著しく減少する可能性が示唆された。
論文 参考訳（メタデータ） (2021-10-21T09:04:59Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Robust Benchmarking for Machine Learning of Clinical Entity Extraction [2.9398911304923447]
我々は、最先端システムの性能を監査し、改善の領域を示す。
2019 n2c2共有タスクにおける臨床エンティティ正規化システムに対する高いタスク精度が誤解を招くことが判明した。
臨床組織抽出のためのアノテーションの枠組みを医療用語の不整合因子に再構成する。
論文 参考訳（メタデータ） (2020-07-31T15:14:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。