論文の概要: Can large language models unlock discrete data in ophthalmic diagnostic reports?
- arxiv url: http://arxiv.org/abs/2610.00795v1
- Date: Wed, 30 Sep 2026 22:35:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.796947
- Title: Can large language models unlock discrete data in ophthalmic diagnostic reports?
- Title(参考訳): 大規模言語モデルは眼科診断報告において個別のデータを解き放つことができるか?
- Abstract要約: 眼科診断用PDFレポートから構造化されたデータを抽出するために2つの即時的戦略が用いられた。
制約データとPrompt-Only抽出データを高精度に抽出し,時間を大幅に短縮した。
- 参考スコア(独自算出の注目度): 1.899549999829621
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Objective: To assess the accuracy and efficiency of a large language model (LLM) using two prompt strategies to extract structured data from ophthalmic diagnostic PDF reports. Methods: Twenty deidentified reports across four types (Visual Field, OCT Glaucoma Overview, OCT retinal nerve fiber layer Single Exam, and OCT Thickness Map; n = 5 each) were processed using two GPT-4o-assisted pipelines and compared with a reconciled manual ground truth. Schema-Constrained used Structured Output mode with a predefined JSON Schema; Prompt-Only used a detailed instruction prompt followed by Python conversion to JSON. Outcomes were value accuracy, formatting accuracy, and extraction time. Results: Schema-Constrained value accuracy was 100.00% for Visual Field and RNFL Single Exam, 97.45% for Glaucoma Overview, and 98.00% for Thickness Map; Prompt-Only achieved 100.00% across all four report types. Formatting accuracy was 100.00% for Schema-Constrained across all report types and 100.00% for Prompt-Only except RNFL Single Exam (90.14%). Mean extraction time was 56.51 s per report for manual review versus 5.04 s for Schema-Constrained and 4.70 s for Prompt-Only, an approximately 92% reduction. Conclusions: In this small proof-of-concept dataset, general-purpose LLM-assisted pipelines extracted structured data from ophthalmic diagnostic PDFs with high accuracy and substantially reduced processing time. Prompt-Only achieved the highest value accuracy, while Schema-Constrained produced schema-compliant output with 100% formatting accuracy. These complementary strengths support further evaluation of hybrid, validation-aware workflows for research and clinical data abstraction.
- Abstract(参考訳): 目的: 眼科診断用PDFレポートから構造化データを抽出するための2つのプロンプト戦略を用いて, 大規模言語モデルの精度と効率を評価する。
方法】視覚野,OCT緑内障,OCT網膜神経線維層(Single Exam,n = 5)を2本のGPT-4o-assisted Pipelinesを用いて処理し,手動の真理と比較した。
Schema-Constrainedでは、事前に定義されたJSONスキーマを備えた構造化出力モードを使用していた。
結果は、値精度、フォーマット精度、抽出時間であった。
結果: スキーマ制約値の精度は、Visual Field と RNFL Single Exam で100.00%、Glaucoma Overview で97.45%、Thickness Map で98.00%、Prompt-Only で4つのレポートタイプで100.00%に達した。
予測精度は全レポートタイプで100.00%、RNFLシングルエクサム(90.14%)を除くプロンプトオンリーで100.00%であった。
平均抽出時間はマニュアルレビューで56.51秒、スキーマ制約で5.04秒、Prompt-Onlyで4.70秒であり、約92%削減された。
結論: この小さな概念実証データセットにおいて, 汎用LLM支援パイプラインは, 眼科診断用PDFから構造化されたデータを高精度に抽出し, 処理時間を著しく短縮した。
Prompt-Onlyは最高値精度を達成し、Schema-Constrainedは100%フォーマット精度でスキーマ準拠の出力を生成した。
これらの補完的な強みは、研究と臨床データの抽象化のためのハイブリッドで検証可能なワークフローのさらなる評価を支援する。
関連論文リスト
- RareDx: Controlled Knowledge Integration and Graph-Grounded Policy Optimization for Rare-Disease Diagnosis [39.347267469413076]
本稿では,知識グラフに基づくポリシー最適化で使用するエビデンスを制御するRareDxを紹介する。
RareDx-Harnessは異種記録を1つのランク付け診断タスクに正規化する。
構造化された医療知識は、コンパクトなモデルを競争力のある診断ランク付けに変換できることを示す。
論文 参考訳(メタデータ) (2026-09-28T16:24:54Z) - From Diagnosis to Correction: Benchmarking and Improving Real-World Table Parsing [50.70862449978062]
最近の文書では OmniDocBench v1.6 の 93 以上の TEDS スコアが達成されている。
このギャップを定量化するために、916の現実世界のテーブルの診断ベンチマークであるTableParseMapを紹介します。
論文 参考訳(メタデータ) (2026-08-10T16:59:30Z) - Models Can Model, But Can't Bind: Structured Grounding in Text-to-Optimization [54.749573452394664]
定式化自体が単純である場合でも、インスタンスデータが大きくなるにつれて精度が低下する。
我々は, 数値データを構造化ファイルに外部化する単純な推論時アプローチであるBINDを用いて, モデルがプロンプトプロンプトからではなく, データをバインドする。
我々は,モデルのみをバインディングのみに微調整することで仮説を検証し,3つの構造的に異なる最適化カテゴリにおいて,エンドツーエンドのSFTおよびRLよりも優れていることを示す。
論文 参考訳(メタデータ) (2026-05-20T21:25:41Z) - The Constraint Tax: Measuring Validity-Correctness Tradeoffs in Structured Outputs for Small Language Models [0.5482532589225553]
本稿では、デバイス上および低コストのSLM(Small Language Model)デプロイメントを対象としている。
出力制約が根底にある答えを変えることなく信頼性を向上させることを示す。
我々は,回答と実行可能精度損失を分離するための測定プロトコルであるEmphconstraint Taxを導入する。
論文 参考訳(メタデータ) (2026-05-20T07:11:32Z) - When Correct Isn't Usable: Improving Structured Output Reliability in Small Language Models [2.064923532131528]
デプロイされた言語モデルは、正しいものとフォーマットに準拠した出力を生成する必要がある。
本稿では,GSM8KとMATHという2つの数学的ベンチマークを用いて,この構造化出力信頼性ギャップについて検討する。
対象モデルへのブラックボックスAPIアクセスのみを必要とする反復的なシステムプロンプトであるAloLabを開発した。
論文 参考訳(メタデータ) (2026-05-04T09:07:44Z) - Agri-CPJ: A Training-Free Explainable Framework for Agricultural Pest Diagnosis Using Caption-Prompt-Judge and LLM-as-a-Judge [40.23111543895404]
本稿では,Agri-CPJ (Caption-Prompt-Judge)について述べる。
2つの候補応答は相補的な視点から生成され、LLM判定器はドメイン固有の基準に基づいてより強い応答を選択する。
CDDMBench では、GPT-5-Nano と GPT-5-mini 生成キャプションをペアリングすると、疾患分類では textbf+22.7 pp となり、QA では textbf+19.5 ポイントが非カプセルベースラインでスコアされる。
論文 参考訳(メタデータ) (2026-04-26T13:33:45Z) - ExtractBench: A Benchmark and Evaluation Methodology for Complex Structured Extraction [11.272127170490059]
エンタープライズ規模のスキーマ幅でPDF-to-JSON抽出を評価するエンドツーエンドベンチマークはない。
ネスト抽出のセマンティクスを捉える原則的手法は存在しない。
ExtractBenchはPDFからJSONへの構造化抽出のためのオープンソースのベンチマークと評価フレームワークである。
論文 参考訳(メタデータ) (2026-02-12T18:31:37Z) - CURE: Curriculum-guided Multi-task Training for Reliable Anatomy Grounded Report Generation [46.0800756149113]
CUREは医療ビジョン言語モデルのためのエラー対応カリキュラム学習フレームワークである。
フレーズ接地、接地レポート生成、解剖学的接地レポート生成に関するマルチモーダル指導モデルを微調整する。
CUREは接地精度を+0.37 IoUで改善し、レポート品質を+0.188 CXRFEScoreで改善し、幻覚を18.6%減らす。
論文 参考訳(メタデータ) (2026-01-21T19:19:41Z) - ChatSchema: A pipeline of extracting structured information with Large Multimodal Models based on schema [13.06247238452398]
チャットは,非構造化データから情報を抽出し,構造化するための有効な方法である。
我々は北京大学第一病院から100件の医療報告を分析し,2,945対の鍵値のペアを用いた地上真実データセットを構築した。
論文 参考訳(メタデータ) (2024-07-26T13:05:24Z) - Semantic Evaluation for Text-to-SQL with Distilled Test Suites [46.42548219378393]
テキスト・ツー・セマンティック・モデルの精度を近似するために,テストスイートの精度を提案する。
我々は提案手法を用いて、スパイダーリーダーボードに提出された21のモデルを評価し、この手法が常に100の例で正しいことを手作業で検証する。
論文 参考訳(メタデータ) (2020-10-06T16:04:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。