論文の概要: Comparison of techniques for fine-tuning open-weight models for entity extraction from radiology reports

• arxiv url: http://arxiv.org/abs/2609.40236v1
• Date: Wed, 30 Sep 2026 17:32:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.18474
• Title: Comparison of techniques for fine-tuning open-weight models for entity extraction from radiology reports
• Title（参考訳）: 放射線学報告からの実体抽出のための微調整オープンウェイトモデルの比較
• Abstract要約: 微調整と推論は、1台の24GBの消費者向けGPUのメモリエンベロープに適合する。 狭い、高価値な臨床ラベル抽出タスクでは、合成ラベルを生成するのではなく、実際のレポートを蒸留することが、ホストされたモデルとのギャップを埋める。
• 参考スコア（独自算出の注目度）: 11.027618503906984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Converting free-text radiology reports into structured labels supports cohort building, quality assurance, and monitoring of clinical imaging models, but the strongest label extractors are hosted proprietary models whose use raises privacy, cost, and reproducibility concerns. We asked whether a fine-tuned open-weight model (Gemma-3-12B) can match GPT-4o at multi-label intracranial hemorrhage (ICH) acuity extraction from non-contrast head-CT reports, and which ingredients matter. Using a 2x2 design, we crossed two adaptation strategies (a discriminative classification head, CH; generative instruction fine-tuning, IFT) with two training-data sources (distillation of real GPT-4o-labeled reports; synthetic reports generated by GPT-4o from real exemplars), across five training sizes, benchmarked on 100 expert-adjudicated reports against GPT-4o and the un-tuned open-weight base. The distilled instruction-tuned model (DIFT) matched GPT-4o (macro-F1 0.845 vs 0.850; p = 1.000) and exceeded the base model by 0.178. The decisive factor was the training-data source, not the fine-tuning method: both synthetic-data models failed to exceed the un-tuned open-weight base at any training size and underperformed the distilled models across all acuity classes. Fine-tuning and inference fit within the memory envelope of a single 24 GB consumer GPU. For narrow, high-value clinical label-extraction tasks, distilling real reports, rather than generating synthetic ones, is what closes the gap to a hosted model, enabling a private, low-cost, version-stable on-premises alternative.
• Abstract（参考訳）: 自由テキストラジオグラフィーレポートを構造化ラベルに変換することで、コホートビルディング、品質保証、臨床画像モデルのモニタリングをサポートするが、もっとも強力なラベル抽出者は、プライバシ、コスト、再現性に関する懸念を高めるプロプライエタリなモデルをホストしている。 頭蓋内出血 (ICH) におけるGPT-4oとGPT-4oとの適合性について検討した。 2x2設計を用いて,2つのトレーニングデータソース(実GPT-4oラベルレポートの蒸留,実例からGPT-4oが生成した合成レポート)を5つのトレーニングサイズで比較し,GPT-4oと未修正オープンウェイトベースに対する100のエキスパート適応レポートにベンチマークした。 蒸留命令調整モデル(DIFT)はGPT-4o(macro-F1 0.845 vs 0.850; p = 1.000)と一致し、ベースモデルよりも0.178以上であった。 両方の合成データモデルは、任意のトレーニングサイズで未調整のオープンウェイトベースを超えず、すべてのアクティクラスで蒸留されたモデルを過小評価した。 微調整と推論は、1台の24GBの消費者向けGPUのメモリエンベロープに適合する。 狭い、高価値な臨床ラベル抽出タスクでは、合成ラベルを生成するのではなく、実際のレポートを蒸留することが、ホストされたモデルとのギャップを埋め、プライベートで低コストでバージョン安定なオンプレミス代替手段を可能にする。

関連論文リスト

• Fine-tuning Pre-trained Vision-Language Models in a Human-Annotation-Free Manner [46.140724013144194]
  CLIPのような大規模視覚言語モデル(VLM)は、ゼロショットの強い一般化を示すが、下流のタスクに適応するためには通常、コストのかかるラベル付きデータを必要とする。 既存の教師なしの自己学習手法は擬似ラベル化に依存しているが、信頼できない信頼度フィルタリング、確認バイアス、低信頼サンプルの未利用に悩まされることが多い。 我々は,デュアルモデル,クロスモーダル協調機構を通じてラベルのないデータを活用する,教師なし適応フレームワークであるCollaborative Fine-Tuning (CoFT)を提案する。
  論文  参考訳（メタデータ） (2026-02-04T09:00:12Z)
• Rethinking Long-tailed Dataset Distillation: A Uni-Level Framework with Unbiased Recovery and Relabeling [105.8570596633629]
  トラジェクトリに基づく手法の限界を再考することにより,長い尾のデータセット蒸留を再考する。 統計的アライメントの観点からバイアスをモデル化し、公正な監督を復元する。 提案手法は,CIFAR-100-LTで15.6%,Tiny-ImageNet-LTで11.8%向上する。
  論文  参考訳（メタデータ） (2025-11-24T07:57:01Z)
• Semi-Supervised Defect Detection via Conditional Diffusion and CLIP-Guided Noise Filtering [8.132909775584395]
  本稿では条件拡散(DSYM)に基づく半教師付き欠陥検出フレームワークを提案する。 条件拡散モデルでは,複数スケールの擬似欠陥サンプルを合成し,CLIPクロスモーダル特徴量に基づくノイズフィルタリング機構によりラベル汚染を緩和する。 本研究は,工業品質検査シナリオにおける欠陥検出のための高精度で低ラベル依存のソリューションを提供する。
  論文  参考訳（メタデータ） (2025-07-08T01:53:34Z)
• GPT-4V Cannot Generate Radiology Reports Yet [25.331936045860516]
  GPT-4Vの強いマルチモーダル能力は、放射線学レポート作成を自動化するためにそれを使うことに関心を喚起する。 我々は, GPT-4V を用いた報告を異なるプロンプト戦略により直接生成し, 語彙指標と臨床効果指標の両方で異常を生じさせることを試みた。
  論文  参考訳（メタデータ） (2024-07-16T21:03:14Z)
• Edinburgh Clinical NLP at SemEval-2024 Task 2: Fine-tune your model unless you have access to GPT-4 [10.01547158445743]
  各種大規模言語モデル (LLM) を複数戦略で評価する。例えば、Chain-of-Thought, In-Context Learning, Efficient Fine-Tuning (PEFT) などである。 その結果,2つのPEFTアダプタはF1スコア(+0.0346)とLLMの一貫性(+0.152)を改善した。 3つの指標を平均して、GPT-4は0.8328との競争で1位となった。
  論文  参考訳（メタデータ） (2024-03-30T22:27:21Z)
• Is Open-Source There Yet? A Comparative Study on Commercial and Open-Source LLMs in Their Ability to Label Chest X-Ray Reports [0.8553482972179836]
  GPT-4はゼロショットレポートラベリングにおいてオープンソースモデルよりも優れているが、少数ショットプロンプトの実装はGPT-4と同等のオープンソースモデルをもたらす可能性がある。 このことは、オープンソースモデルは、放射線学レポート分類のタスクにおいて、GPT-4に代わるパフォーマンスとプライバシ保護の代替となる可能性があることを示している。
  論文  参考訳（メタデータ） (2024-02-19T17:23:10Z)
• Tangent Model Composition for Ensembling and Continual Fine-tuning [69.92177580782929]
  タンジェントモデル合成(Tangent Model composition, TMC)は、事前訓練された点を中心に微調整されたコンポーネントモデルを独立に結合する手法である。 TMCの精度は4.2%向上し、非線形微調整モデルの精度は4.2%向上した。
  論文  参考訳（メタデータ） (2023-07-16T17:45:33Z)
• Efficient GPT Model Pre-training using Tensor Train Matrix Representation [65.96485282393361]
  大規模なトランスフォーマーモデルは数十億のパラメータを特徴としており、デプロイが困難になり、スクラッチからトレーニングコストが禁じられている。 GPT-2アーキテクチャのパラメータ数を削減すべく、完全に接続された層の行列を対応するTrain Matrix(TTM)構造に置き換える。 GPTベースのモデルは最大40%のパラメータを格納し、元のモデルに匹敵するパープレキシティを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:38:25Z)
• Generalizing electrocardiogram delineation: training convolutional neural networks with synthetic data augmentation [63.51064808536065]
  ECGのデライン化のための既存のデータベースは小さく、サイズやそれらが表す病態の配列に不足している。 まず、原データベースから抽出した基本セグメントのプールを与えられたECGトレースを確率的に合成し、その整合性のある合成トレースに配置するための一連のルールを考案した。 第二に、2つの新しいセグメンテーションに基づく損失関数が開発され、これは、正確な数の独立構造の予測を強制し、サンプル数の削減に焦点をあてて、より密接なセグメンテーション境界を創出することを目的としている。
  論文  参考訳（メタデータ） (2021-11-25T10:11:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。