論文の概要: Resolution Meets Reduction: Efficient Visual Context for 3D Radiology Report Generation
- arxiv url: http://arxiv.org/abs/2608.08713v1
- Date: Sun, 09 Aug 2026 13:57:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.922421
- Title: Resolution Meets Reduction: Efficient Visual Context for 3D Radiology Report Generation
- Title（参考訳）: レゾリューションとレゾリューション:3Dラジオロジーレポート生成のための効率的な視覚コンテキスト
- Abstract要約: ビジョン言語モデルは、放射線学レポート生成を自動化するための有望な経路を提供するが、それをフル3次元CTに適用することは、かなりの計算上の課題をもたらす。
現代のファンデーション・ビジョン・エンコーダ(VE)はスキャン毎に何万もの視覚トークンを生成することができる。
このビジョン・トーケンの予算を、入力された視野、空間分解能、およびビジョン・ツー・ランゲージ・プロジェクションにどのように割り当てるべきかは、オープンデザインの問題のままである。
- 参考スコア（独自算出の注目度）: 7.073662229057507
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models offer a promising path toward automating radiology report generation, but applying them to full 3D CT volumes poses substantial computational challenges. Modern foundation vision encoders (VEs) can produce tens of thousands of vision tokens per scan, making the visual sequence passed to the large language model (LLM) a primary computational bottleneck. Vision-to-language projectors can compress this sequence to reduce computation, but may discard clinically relevant detail; conversely, effective compression can accommodate higher-resolution inputs while keeping the downstream token count fixed. How this vision-token budget should be allocated across input field of view, spatial resolution, and vision-to-language projection therefore remains an open design question. We systematically evaluate four heterogeneous VEs (CNN- and ViT-based), five token-reducing projectors at up to 64x compression alongside a non-reducing MLP projector baseline, and five instruction-tuned LLMs (1.7B--4B) on two large-scale CT report datasets (CT-RATE and Merlin). At matched LLM token budgets, anatomy-guided region of interest cropping is the most consistent strategy, improving clinical macro F1 in 19 of 20 settings by +3.7 points on average for the 3D ViT Primus encoder and +1.1 for the slice-based 2D ViT Curia encoder. Increasing input resolution further is strongly projector-dependent: the PerceiverResampler, paired with higher-resolution Curia features, yields the strongest configuration in the resolution study on both datasets. Our best configurations achieve state-of-the-art clinical macro F1 on the test sets, reaching 49.5 on CT-RATE and 49.0 on Merlin. Code and models will be published upon publication.
- Abstract（参考訳）: 視覚言語モデルは、放射線学レポート生成を自動化するための有望な経路を提供するが、それをフル3次元CTボリュームに適用することは、かなりの計算上の課題をもたらす。
現代のファンデーション・ビジョン・エンコーダ(VE)はスキャン毎に数万の視覚トークンを生成することができ、大きな言語モデル(LLM)に渡される視覚シーケンスを主要な計算ボトルネックにする。
視覚から言語へのプロジェクタは、このシーケンスを圧縮して計算を削減できるが、臨床的に関係のある詳細を排除できる。
このビジョン・トーケンの予算は、どのようにして入力された視野、空間分解能、および視覚から言語への投影に分配されるべきかは、オープンデザインの問題のままである。
大規模CTレポートデータセット(CT-RATEとMerlin)を用いて,4つの異種VE(CNN-およびViT-ベース),最大64倍圧縮のトークン還元プロジェクタ,非還元型MLPプロジェクタベースライン,命令調整型LLM(1.7B--4B)を体系的に評価した。
一致したLPMトークンの予算では、解剖学的に誘導された関心の収穫領域が最も一貫した戦略であり、スライスベースの2D ViT Curiaエンコーダでは平均3.7ポイント、スライスベースの2D ViT Primusエンコーダでは+1.1ポイント、20設定中19項目の臨床マクロF1を改善した。
PerceiverResamplerは高解像度のCuria特徴と組み合わせて、両方のデータセットの解像度研究において最強の構成をもたらす。
臨床検査では,CT-RATEでは49.5,Merlinでは49.0であった。
コードとモデルは公開時に公開される。
関連論文リスト
- MedFG-VQA: Low-Frequency Memory and Graph Attention for Lightweight Medical VQA [55.12170695219291]
MedFG-VQAは、DCTベースの低周波機能を強化し、効果的な視覚・テキストアライメントにグラフ強化のクロスアテンションを使用する軽量フレームワークである。
データ不足に対処するため、SynMed-VQAという大規模な合成データセットを構築した。
論文 参考訳（メタデータ） (2026-08-27T09:16:14Z) - Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model [60.85752511708308]
本稿では,リアルタイムマルチモーダル理解とインタラクションのための効率的なストリーミング基盤モデルであるMage-VLを提案する。
その中核として、我々のカスタムトークンであるMage-ViTは、動的エントロピーリッチな領域を選択的に符号化することで、一様フレームサンプリングを置き換える。
我々は、キャプションとAI駆動のパフォーマンス診断のためのプロンプトコード共同最適化を含むAI4AIデータパイプラインを確立する。
論文 参考訳（メタデータ） (2026-07-27T17:59:53Z) - Disease-Centric Vision-Language Pretraining with Hybrid Visual Encoding for 3D Computed Tomography [75.7789001619107]
ビジョン言語による事前トレーニングは、汎用医療AIにとって大きな可能性を秘めている。
3つの主要なコンポーネントを特徴とするフレームワークを提案する。
診断対応プロンプト戦略では、トレーニング前の推論ギャップを埋めるために、実際の臨床用語と集約された疾患プロトタイプを用いている。
論文 参考訳（メタデータ） (2026-06-24T08:24:45Z) - Simple Token-Efficient Vision-Language Model for Case-level Pathology Synoptic Report Generation [9.268049949671958]
ケースレベルの合成レポート生成のための単純なトークン効率の視覚言語モデルを提案する。
私たちのアーキテクチャは、凍結した病理パッチ、軽量な2層視覚言語調整器、および大規模言語モデルデコーダという、最小限の3成分設計に従っています。
提案手法は,メモリと実行時の効率を著しく向上しつつ,高いROUGE-L/METEOR/BLEU-4スコアを実現する。
論文 参考訳（メタデータ） (2026-05-29T01:15:13Z) - Curriculum-Driven 3D CT Report Generation via Language-Free Visual Grafting and Zone-Constrained Compression [0.0]
胸部CTボリュームから自由テキストレポートを生成するための4段階のカリキュラム学習フレームワークであるKer-VLJEPA-3Bを提案する。
フェーズドトレーニングカリキュラムは、Llama 3.2 3Bデコーダに適応し、凍結した自己監督型エンコーダの視覚的特徴を出力する。
我々の視覚バックボーン(LeJEPA ViT-Large)は、テキスト監督なしで、ラベルなしCTの自己監督共同埋め込み予測によって訓練される。
論文 参考訳（メタデータ） (2026-03-24T15:13:30Z) - MedPruner: Training-Free Hierarchical Token Pruning for Efficient 3D Medical Image Understanding in Vision-Language Models [59.180043227905294]
MedPrunerは、3次元医用画像の効率的な理解のためのトレーニング不要でモデルに依存しない階層的トークンプレーニングフレームワークである。
我々は、MedPrunerによって、MedGemmaのようなモデルが元の性能を維持したり、超えたりすることが可能であり、ビジュアルトークンの5%以下を維持していることを示す。
論文 参考訳（メタデータ） (2026-03-12T07:37:00Z) - Hulu-Med: A Transparent Generalist Model towards Holistic Medical Vision-Language Understanding [112.46150793476603]
透明で汎用的な医用ビジョンランゲージモデル(VLM)であるHulu-Medを紹介する。
Hulu-Medは1670万サンプルのキュレートされたコーパスで訓練されており、12の解剖学的システムと14の医用画像モダリティにまたがっている。
Hulu-Medは、30ベンチマーク中27ベンチマークで既存のオープンソースモデルを上回っ、16ベンチマークでGPT-4oなどのプロプライエタリシステムを上回っている。
論文 参考訳（メタデータ） (2025-10-09T17:06:42Z) - DCFormer: Efficient 3D Vision-Language Modeling with Decomposed Convolutions [6.464464511743737]
我々は,3次元畳み込みを深さ,高さ,幅の3つの平行1次元畳み込みに分解する,効率的な3次元画像エンコーダDCFormerを紹介する。
ゼロショットと微調整による18の病理診断では、DCFormerは最先端の3Dビジョンエンコーダよりも一貫して優れている。
論文 参考訳（メタデータ） (2025-02-07T17:10:22Z) - Argus: Benchmarking and Enhancing Vision-Language Models for 3D Radiology Report Generation [15.897686345011731]
3Dラジオグラフィーレポート生成(DRRG)の包括的なベンチマークは行われていない。
我々は、*CT-3DRRG*を計算し、3DRRG上でのVLM性能を評価するための堅牢で多様なベンチマークを確立した。
本稿では、3DRRGのための高性能なVLMを構築するための総合的なトレーニング手法を提案し、視覚エンコーダ事前学習戦略、視覚トークン圧縮、データとモデルスケールの影響などの重要な要素を探索する。
論文 参考訳（メタデータ） (2024-06-11T10:45:59Z) - CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。
本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
論文 参考訳（メタデータ） (2024-04-23T17:59:01Z) - Focused Decoding Enables 3D Anatomical Detection by Transformers [64.36530874341666]
集束デコーダと呼ばれる3次元解剖学的構造検出のための新しい検出変換器を提案する。
Focused Decoderは、解剖学的領域のアトラスからの情報を活用して、クエリアンカーを同時にデプロイし、クロスアテンションの視野を制限する。
提案手法を利用可能な2つのCTデータセットに対して評価し、フォーカスドデコーダが強力な検出結果を提供するだけでなく、大量の注釈付きデータの必要性を軽減し、注意重みによる結果の例外的で直感的な説明性を示すことを示した。
論文 参考訳（メタデータ） (2022-07-21T22:17:21Z) - PAENet: A Progressive Attention-Enhanced Network for 3D to 2D Retinal
Vessel Segmentation [0.0]
光コヒーレンス・トモグラフィー(OCTA)画像では3次元から2次元の網膜血管セグメンテーションは難しい問題である。
本稿では,多機能表現を抽出するアテンション機構に基づくプログレッシブ・アテンション・エンハンスメント・ネットワーク(PAENet)を提案する。
提案アルゴリズムは,従来の手法と比較して最先端性能を実現する。
論文 参考訳（メタデータ） (2021-08-26T10:27:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。