論文の概要: Expandable Modality Experts for Medical Vision-Language Learning

• arxiv url: http://arxiv.org/abs/2610.29881v1
• Date: Wed, 21 Oct 2026 15:28:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.259348
• Title: Expandable Modality Experts for Medical Vision-Language Learning
• Title（参考訳）: 医療ビジョン学習のための拡張可能なモダリティエキスパート
• Abstract要約: 本稿では,モダリティの専門家による拡張可能なバンクを中心に構築された医用視覚言語技術を提案する。 モダリティを意識した視覚トークンーは、7つのモダリティにわたる1940万の未ペア画像列に対して、マスク付き事前訓練のターゲットを提供する。 新たな基礎と光コヒーレンストモグラフィの専門家は、元の画像とテキストの埋め込みパスが凍結されている間、ペアデータから学習する。
• 参考スコア（独自算出の注目度）: 5.193089063009989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning across medical imaging modalities requires making use of images without paired text and accommodating new domains while retaining existing representations. We propose a medical vision-language technique built around an expandable bank of modality experts. Its Multiway Transformer combines shared visual computation with deterministically routed feed-forward experts and a separate text pathway. A modality-aware visual tokenizer supplies targets for masked pretraining on 19.4 million unpaired image rows across seven modalities; contrastive alignment then uses 3.23 million image-text pairs. Additional fundus and optical coherence tomography experts learn from paired data while the original image and text embedding paths remain frozen. With a ViT-Large backbone, the proposed technique achieves the best or tied-best result in 24 of 25 benchmark settings across nine modalities: 10 of 11 zero-shot classification benchmarks, all 10 linear probes, and all four retrieval benchmarks. Mean balanced accuracy is 0.674 for zero-shot classification and 0.856 for linear probing, and mean bidirectional retrieval recall is 20.70%. A separate three-seed sequential experiment with matched adaptation data yields fundus and OCT retrieval gains of 14.95 and 9.31 percentage points, with no measured loss on preceding fundus or pathology tasks. The preservation argument requires unchanged existing computation paths and inference conditions, and feature-identity checks verify retention on evaluated inputs. The proposed technique provides a modular approach to learning and expanding medical vision-language representations.
• Abstract（参考訳）: 医用画像のモダリティを横断する学習には、ペアのテキストを使わずに画像を使用し、既存の表現を維持しながら新しいドメインを収容する必要がある。 本稿では,モダリティの専門家による拡張可能なバンクを中心に構築された医用視覚言語技術を提案する。 そのMultiway Transformerは、共有ビジュアル計算と決定的にルーティングされたフィードフォワードの専門家と、別々のテキストパスを組み合わせる。 モダリティ対応のビジュアルトークンーは、7つのモダリティにわたる1940万の未ペア画像列に対して、マスク付き事前訓練のターゲットを提供する。 新たな基礎と光コヒーレンストモグラフィの専門家は、元の画像とテキストの埋め込みパスが凍結されている間、ペアデータから学習する。 ViT-Largeのバックボーンを用いて、提案手法は、ゼロショット分類ベンチマーク11点中10点、線形プローブ10点、および4つの検索ベンチマークを含む、9つのモードにわたる25のベンチマーク設定のうち、24点中24点において、ベストまたはタイトベストな結果を達成する。 平均平衡精度はゼロショット分類では0.674、線形探索では0.856であり、平均双方向検索リコールは20.70%である。 適合した適応データを用いた3つのシーケンシャルな実験は、前回の基礎や病理のタスクで損失を被ることなく、14.95と9.31のOCT検索率を得る。 保存引数は、既存の計算経路や推論条件を変更せず、特徴同一性チェックは評価された入力に対する保持を検証する。 提案手法は、医用視覚言語表現の学習と拡張のためのモジュラーアプローチを提供する。

関連論文リスト

• A Vision-language Framework for Comparative Reasoning in Radiology [68.52471827773482]
  我々は,放射線学的比較を実体認識のクロスイメージ推論問題として定式化する。 我々は,日常的な画像とレポートのペアから得られた大規模比較画像資源を構築した。 臨床類似症例の検索を制御可能なエンティティ対応ビジュアルエンコーダであるMedReCoを開発した。
  論文  参考訳（メタデータ） (2026-06-04T17:12:47Z)
• Multi-Contrast MRI Motion Correction via Parameter-Informed Disentanglement and Adaptive Experts [56.74856091904914]
  パラメータインフォームドコントラストと重度適応補正を組み合わせた統合フレームワークを提案する。 ScanCLIPは、取得パラメータからアンタングルコントラストスタイルへのコントラスト埋め込みを解剖学的内容から導き、コントラストのない特徴をもたらす。 ビジョントランスフォーマーは、動きの重大度を推定し、Mixture-of-Expertsネットワークを介して特徴をルーティングし、ターゲットのアーティファクト修正を可能にする。
  論文  参考訳（メタデータ） (2026-05-29T02:48:23Z)
• OPTED: Open Preprocessed Trachoma Eye Dataset Using Zero-Shot SAM 3 Segmentation [0.0]
  サハラ以南のアフリカは世界の負担の85%以上を占め、エチオピアだけでも全症例の半数以上を占めている。 しかし、自動トラコマ分類のための公開済みの事前処理データセットは乏しく、最も影響を受けた地域に由来するものはない。 本稿では,Segment Anything Model 3 (SAM3) を用いて構築した,オープンソースで事前処理されたトラコマアイデータセットであるOPTEDについて述べる。
  論文  参考訳（メタデータ） (2026-03-06T21:07:08Z)
• Beyond CLIP: Knowledge-Enhanced Multimodal Transformers for Cross-Modal Alignment in Diabetic Retinopathy Diagnosis [7.945705180020063]
  本稿では,網膜基底像,臨床テキスト,構造化された患者データを統合する知識強化型関節埋め込みフレームワークを提案する。 このフレームワークはRecall@1の99.94%でほぼ完璧なテキスト・ツー・イメージ検索性能を実現している。
  論文  参考訳（メタデータ） (2025-12-22T18:41:45Z)
• Multi-Level CLS Token Fusion for Contrastive Learning in Endoscopy Image Classification [2.5995006632251516]
  ENT内視鏡画像解析に適した統合視覚言語フレームワークを提案する。 同時に、画像分類、画像から画像への検索、テキストから画像への検索の3つの臨床的タスクに取り組む。 95%の精度とF1スコア,画像画像検索用Recall@1,画像画像検索用0.93,テキスト画像検索用0.92,MRRスコア0.97,0.96。
  論文  参考訳（メタデータ） (2025-08-31T09:03:39Z)
• Multi-modal Vision Pre-training for Medical Image Analysis [11.569448567735435]
  自己教師型学習は、実世界のアプリケーションに対するトレーニングデータ要求を抑えることにより、医療画像解析を大いに促進してきた。 我々は,3つの代用タスクによる新しいマルチモーダル画像事前学習を行い,相互モダリティ表現と相関の学習を容易にする。 Dice Scoreは6つのセグメンテーションベンチマークで0.28%-14.47%改善し、4つの画像分類タスクで0.65%-18.07%向上した。
  論文  参考訳（メタデータ） (2024-10-14T15:12:16Z)
• CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
  我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。 本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
  論文  参考訳（メタデータ） (2024-04-23T17:59:01Z)
• Contrastive Learning of Medical Visual Representations from Paired Images and Text [38.91117443316013]
  本研究では,自然発生した記述的ペアリングテキストを活用することで,医用視覚表現を学習するための教師なし戦略であるConVIRTを提案する。 この2つのモダリティ間の双方向のコントラスト的目的を通じて、ペア化されたテキストデータを用いて医療画像エンコーダを事前訓練する手法は、ドメインに依存しないため、追加の専門家による入力は不要である。
  論文  参考訳（メタデータ） (2020-10-02T02:10:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。