論文の概要: Large Language Models as Medical Codes Selectors: a benchmark using the International Classification of Primary Care

• arxiv url: http://arxiv.org/abs/2507.14681v1
• Date: Sat, 19 Jul 2025 16:11:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.001624
• Title: Large Language Models as Medical Codes Selectors: a benchmark using the International Classification of Primary Care
• Title（参考訳）: 医療コードセレクタとしての大規模言語モデル--国際プライマリケア分類を用いたベンチマーク
• Authors: Vinicius Anjos de Almeida, Vinicius de Camargo, Raquel Gómez-Bravo, Egbert van der Haring, Kees van Boven, Marcelo Finger, Luis Fernandez Lopez,
• Abstract要約: 本研究では,ドメイン固有検索エンジンを用いてICPC-2符号を割り当てる大規模言語モデルの可能性を評価する。 ICPC-2コードでアノテートされたブラジルポルトガルの437の臨床的表現のデータセットが使用された。
• 参考スコア（独自算出の注目度）: 3.969022748080135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Medical coding structures healthcare data for research, quality monitoring, and policy. This study assesses the potential of large language models (LLMs) to assign ICPC-2 codes using the output of a domain-specific search engine. Methods: A dataset of 437 Brazilian Portuguese clinical expressions, each annotated with ICPC-2 codes, was used. A semantic search engine (OpenAI's text-embedding-3-large) retrieved candidates from 73,563 labeled concepts. Thirty-three LLMs were prompted with each query and retrieved results to select the best-matching ICPC-2 code. Performance was evaluated using F1-score, along with token usage, cost, response time, and format adherence. Results: Twenty-eight models achieved F1-score > 0.8; ten exceeded 0.85. Top performers included gpt-4.5-preview, o3, and gemini-2.5-pro. Retriever optimization can improve performance by up to 4 points. Most models returned valid codes in the expected format, with reduced hallucinations. Smaller models (<3B) struggled with formatting and input length. Conclusions: LLMs show strong potential for automating ICPC-2 coding, even without fine-tuning. This work offers a benchmark and highlights challenges, but findings are limited by dataset scope and setup. Broader, multilingual, end-to-end evaluations are needed for clinical validation.
• Abstract（参考訳）: 背景:医療コーディングは、研究、品質監視、ポリシーのための医療データを構成する。 本研究では,ドメイン固有検索エンジンの出力を用いてICPC-2符号を割り当てる大規模言語モデル (LLM) の可能性を評価する。 方法: ICPC-2コードで注釈を付したブラジルポルトガル語臨床表現437のデータセットを使用した。 セマンティック検索エンジン (OpenAI のtext-embedding-3-large) は73,563個のラベル付き概念から候補を検索した。 3つのLCMを各クエリーでトリガーし、結果を検索し、最適なICPC-2コードを選択する。 F1スコアを使用して、トークンの使用量、コスト、応答時間、フォーマットの順守とともにパフォーマンスを評価した。 結果:28モデルでF1スコア>0.8となり,10モデルで0.85を上回った。 主な出演者はgpt-4.5-preview、o3、gemini-2.5-proであった。 リトライバの最適化は最大4ポイントパフォーマンスを改善することができる。 ほとんどのモデルは期待されたフォーマットで有効なコードを返すが、幻覚は減った。 より小さなモデル (<3B) はフォーマット化と入力長に苦労した。 結論: LLMは微調整なしでICPC-2のコーディングを自動化する強力な可能性を示している。 この作業はベンチマークを提供し、課題を強調するが、データセットのスコープと設定によって結果が制限される。 臨床的検証には、より広範、多言語、エンドツーエンドの評価が必要である。

関連論文リスト

• Evaluating Hierarchical Clinical Document Classification Using Reasoning-Based LLMs [7.026393789313748]
  本研究は,大規模言語モデル(LLM)が病院退院サマリーからICD-10コードをどのように分類できるかを評価する。 推論ベースのモデルは一般的に非推論モデルよりも優れており、ジェミニ2.5 Proは全体として最高のパフォーマンスを示した。
  論文  参考訳（メタデータ） (2025-07-02T00:53:54Z)
• Can Reasoning LLMs Enhance Clinical Document Classification? [7.026393789313748]
  大規模言語モデル(LLM)は、このタスクの正確性と効率性において有望な改善を提供する。 本研究では,8つのLDMの性能と一貫性を評価する。4つの推論(Qwen QWQ, Deepseek Reasoner, GPT o3 Mini, Gemini 2.0 Flash Thinking)と4つの非推論(Llama 3.3, GPT 4o Mini, Gemini 2.0 Flash, Deepseek Chat)。 その結果、推論モデルは精度71%(68%)とF1スコア(67%(60%))で非推論モデルを上回った。
  論文  参考訳（メタデータ） (2025-04-10T18:00:27Z)
• Benchmarking Open-Source Large Language Models on Healthcare Text Classification Tasks [2.7729041396205014]
  本研究では,オープンソースの5つの大言語モデル(LLM)の分類性能を評価する。 全てのモデルとタスクの組み合わせに対して、95%の信頼区間を有する精度、リコール、F1スコアを報告する。
  論文  参考訳（メタデータ） (2025-03-19T12:51:52Z)
• EquiBench: Benchmarking Large Language Models' Understanding of Program Semantics via Equivalence Checking [55.81461218284736]
  EquiBenchは、大規模言語モデル(LLM)を評価するための新しいベンチマークである。 2つのプログラムが全ての可能な入力に対して同一の出力を生成するかどうかを決定する。 19の最先端LCMを評価し、最高の精度は63.8%と76.2%であり、これは50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Improving ICD coding using Chapter based Named Entities and Attentional Models [0.0]
  我々は、章ベースの名前付きエンティティと注意モデルを用いて、F1スコアを改善するICD符号化の強化アプローチを導入する。 本手法は, 放電サマリーをICD-9章に分類し, 章別データを用いた注意モデルを開発する。 分類には第IV章を使用し、ニューラルネットワークを使わずに重要な要素や重みをデバイアスし、影響を及ぼす。
  論文  参考訳（メタデータ） (2024-07-24T12:34:23Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)
• Automated clinical coding using off-the-shelf large language models [10.365958121087305]
  診断用ICD符号を患者病院入院に割り当てる作業は、典型的には、熟練した人間のコーダーによって行われる。 自動ICD符号化への取り組みは、教師付きディープラーニングモデルによって支配されている。 本研究では,既製の事前学習型大規模言語モデルを活用し,実用的ソリューションを開発する。
  論文  参考訳（メタデータ） (2023-10-10T11:56:48Z)
• PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
  大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。 LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。 PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
  論文  参考訳（メタデータ） (2023-04-27T18:29:05Z)
• UMass PCL at SemEval-2022 Task 4: Pre-trained Language Model Ensembles for Detecting Patronizing and Condescending Language [0.0]
  PCL(Patronizing and condescending Language)は至る所にあるが、メディアによる脆弱なコミュニティへの利用に焦点を当てることは滅多にない。 本稿では,SemEval 2022 Task 4: Patronizing and Condescending Language Detectionに提出された言語検出システムについて述べる。
  論文  参考訳（メタデータ） (2022-04-18T13:22:10Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。