MedVTok: A General-Purpose Medical Visual Tokenizer
Abstractの概要
MedVTokは、多様な画像モダリティにわたる2D画像と3Dボリュームの双方を統一されたトークン空間にマッピングするよう設計された、汎用の医療用視覚トークナイザーです。本手法は、統一的な医療トークン化において課題とされる、ボリュームデータの解剖学的連続性の維持と、異種モダリティにまたがる臨床的意味論の捉え込みという2点に対処します。これを実現するため、3Dデータにおけるスライス間の一貫性を担保するスライス微分正則化と、複数のモダリティ特化型エキスパートエンコーダーを活用するマルチエキスパート表現アラインメントを組み合わせています。本モデルは9種類のモダリティにわたる28,769,502枚の画像と70,144個のボリュームで学習され、分類、検索、セグメンテーション、画像生成、視覚的質問応答、医療レポート生成を網羅する24のベンチマークで評価されています。
新規性
本研究の主な新規性は、モダリティや下流タスクを横断した表現の統一を目指しつつ、2Dおよび3Dの医療画像をネイティブにサポートする単一のトークナイザーである点にあります。固有の技術的貢献として、面貫通方向の解剖学的連続性を保つスライス微分正則化と、単一の意味モデルへのアライメントではなく複数のエキスパートエンコーダーを統合するマルチエキスパート表現アラインメントが挙げられます。
成果
報告された評価全体において、MedVTokは24のベンチマークで競合するトークナイザーを上回る最高水準または最良の性能を達成しました。トークンの忠実度、分類、検索、セグメンテーション、視覚的質問応答、医療レポート生成において最良の平均結果を示し、画像生成においても比較対象のトークナイザーの中で最良の平均FIDを報告しています。
論文の注目点
- MedVTokは、9つのモダリティにわたる2D画像と3Dボリュームの双方を網羅し、異種医療画像に対する共通のトークンインターフェースを提供します。
- 本手法は、ボリュームの連続性を保つ構造的教師あり学習と、複数のモダリティ特化型エキスパートによる意味的アライメントを組み合わせています。
- 24のベンチマークにわたる実証評価により、再構成および6つの下流タスクファミリー全体において強力な汎用性が示されています。