Fugu-MT 論文翻訳(概要): Zero-shot evaluation of open vision-language models as System 1 decision models on radiology tasks

論文の概要: Zero-shot evaluation of open vision-language models as System 1 decision models on radiology tasks

arxiv url: http://arxiv.org/abs/2611.01631v1
Date: Sun, 01 Nov 2026 06:32:47 GMT
ステータス: 情報取得中
システム内更新日: 2026-11-03 19:30:25.740713
Title: Zero-shot evaluation of open vision-language models as System 1 decision models on radiology tasks
Title（参考訳）: 放射線学課題におけるシステム1決定モデルとしてのオープンビジョン言語モデルのゼロショット評価
Abstract要約: 我々は,2つのマルチモーダルシステム1決定モデルであるClef 27Bとd1 3Bを,従来のLCM(Qwen 3.8-27B)と比較した。 3つのタスクはテキストの解釈であり、4つは画像中の検出であった。クリーフはCT-RATEボリュームではQwen背骨より高く, RANZCRはMR-ARTより低い値であった。
参考スコア（独自算出の注目度）: 0.3683202928838613
License:
Abstract: Purpose: We compared two multimodal System 1 decision models, Clef 27B and d1 3B, with a traditional LLM (Qwen 3.8-27B) on seven radiology tasks covering text, radiographs, CT and MRI. Methods: Three models were compared: Clef, Qwen3.8-27B and d1. Three tasks were interpretation of text and 4 were detection of finding in images. The tasks were: 1. finding presence of finding in CT-RATE chest CT reports; 2. Presence of finding in PadChest chest radiograph reports; 3. the same 18 findings on CT-RATE chest CT but 3D volumes; 4. MR safety status of devices from AccessGUDID device records; 5. line and tube position on RANZCR CLiP chest radiographs; 6. motion-artifact severity on MR-ART T1-weighted brain MRI and 7. sequence identification on BraTS 2021 brain MRI. The primary endpoint was AUROC. There was no fine-tuning of the models on the tasks. Results: All models completed all tests without a failed request. All retrieved findings from reports almost perfectly (AUROC >0.95). Clef ranked higher than its Qwen backbone on CT-RATE volumes and RANZCR lower on MR-ART. The two did not differ on BraTS, GUDID or PadChest, and differed by 0.002 on CT-RATE reports. On BraTS, Clef correctly identified 90 of 100 FLAIR volumes while Qwen never chose it. d1 ranked lower than Clef on six of seven tasks. No model performed well on motion severity. Clef was faster per request than Qwen on tasks with many questions per input. d1 used 3 to 9 times less energy per request than Clef. Conclusions: System 1 models can perform important tasks in radiology with high accuracy, at lower compute cost than LLMs used in the usual way. When an LLM is constrained to a single answer token, its cost and performance is similar to System 1 models unless multiple questions are asked. A 3B System 1 model was close to the 27B models on report text but not on images. No model performed well on motion severity.
Abstract（参考訳）: 目的: 2つのマルチモーダルシステム1決定モデルであるClef 27Bとd1 3Bを,従来のLCM(Qwen 3.8-27B)と比較した。方法: Clef、Qwen3.8-27B、d1の3モデルを比較した。 3つのタスクはテキストの解釈であり、4つは画像中の検出であった。任務は以下の通りである。 CT-RATE 胸部CTにおける発見の有無 2.PadChest胸部X線写真における発見の有無 3) CT-RATE胸部CTと同じ18例の3Dボリュームであった。 4.AccessGUDIDデバイス記録からの機器のMR安全状態 RANZCR CLiP胸部X線写真における線と管の位置 MR-ART T1-weighted 脳MRIにおける運動アーチファクトの重症度 BraTS 2021脳MRIの塩基配列同定主なエンドポイントはAUROCである。タスク上のモデルの微調整は行われなかった。結果: 全てのモデルが要求を失敗せずに全てのテストを終えた。 AUROC >0.95。 ClefはCT-RATEボリュームではQwen背骨より高く, RANZCRはMR-ARTより低かった。両者はBraTS, GUDID, PadChestでは異ならず, CT-RATEでは0.002であった。 BraTSでは、クリーフは100巻中90巻を正しく特定したが、クウェンは選ばなかった。 d1は7つのタスクのうち6つでClefより下位にランクされた。動きの重大度ではモデルが良好に動作しなかった。リクエスト毎のClefは、入力毎の質問の多いタスクにおいて、Qwenよりも高速だった。 d1はリクエストあたりのエネルギーをClefの3倍から9倍削減した。結論: System 1 モデルは、通常の LLM よりも高い計算コストで、ラジオロジーにおいて重要なタスクを高精度に実行することができる。 LLMが単一の応答トークンに制限されている場合、そのコストと性能は複数の質問がない限りSystem 1モデルと似ている。 3B System 1 モデルは、レポートテキストでは27Bモデルに近いが、画像ではそうではなかった。動きの重大度ではモデルが良好に動作しなかった。

論文の概要: Zero-shot evaluation of open vision-language models as System 1 decision models on radiology tasks

関連論文リスト