論文の概要: Multimodal Routing and Region Refinement for Language-Guided Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2609.28860v1
• Date: Thu, 24 Sep 2026 00:03:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.611904
• Title: Multimodal Routing and Region Refinement for Language-Guided Medical Image Segmentation
• Title（参考訳）: 言語誘導型医用画像分割のためのマルチモーダルルーティングと領域分割
• Abstract要約: MRSegは、高密度予測の前に視覚的特徴とテキスト的特徴の適応をルーティングするパラメータ効率のフレームワークである。 冷凍型ConvNeXt-TinyとPubMedBERTエンコーダは、マルチスケールの視覚的特徴と臨床テキストトークンを提供する。 MRSegは90.90/83.32と81.53/68.82 Dice/mIoUをそれぞれ達成し、7.11Mのトレーニング可能なパラメータと7.60 GFLOPを持つ。
• 参考スコア（独自算出の注目度）: 11.479943162202241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Textual descriptions can reduce ambiguity in medical image segmentation by specifying the finding and location to be delineated. Existing text-guided methods mainly improve where image and language features interact but generally retain a single learned update pathway across all image-text pairs. We propose MRSeg, a parameter-efficient framework that uses each image-text pair to route the adaptation of visual and textual features before dense prediction. Frozen ConvNeXt-Tiny and PubMedBERT encoders provide multiscale visual features and clinical text tokens. A joint router uses the deepest visual feature and pooled text to predict a sparse mixture over low-rank adapter bases. The resulting route is shared across separate adapter banks for two visual scales and text, coordinating their adaptation while keeping the feature-specific parameters separate. Region Bridge uses text-derived queries to aggregate dense visual tokens into latent regions, refines these regions through self-attention and text cross-attention, and redistributes the refined information back to the feature maps. Finally, a multiscale decoder combines refined semantic features with shallow image evidence. On QaTa-COV19 and MosMedData+, MRSeg achieves 90.90/83.32 and 81.53/68.82 Dice/mIoU, respectively, with 7.11M trainable parameters and 7.60 GFLOPs. Code: https://github.com/maklachur/MRSeg.
• Abstract（参考訳）: テキスト記述は、デライン化すべき発見と位置を指定することで、医用画像のセグメンテーションの曖昧さを低減することができる。 既存のテキスト誘導方式は、主に画像と言語の特徴の相互作用を改善するが、一般的にはすべての画像とテキストのペア間で単一の学習された更新経路を保持する。 我々は,高密度な予測の前に,各画像テキストペアを用いて視覚的特徴とテキスト的特徴の適応をルーティングするパラメータ効率のフレームワークであるMSSegを提案する。 冷凍型ConvNeXt-TinyとPubMedBERTエンコーダは、マルチスケールの視覚的特徴と臨床テキストトークンを提供する。 ジョイントルータは、最も深い視覚特徴とプールされたテキストを使用して、低ランクのアダプタベース上でスパースミックスを予測する。 結果として得られた経路は、異なるアダプタバンク間で2つの視覚的スケールとテキストで共有され、特徴固有のパラメータを分離しながら、それらの適応を調整する。 リージョンブリッジは、テキスト由来のクエリを使用して、高密度な視覚トークンを潜伏領域に集約し、自己注意とテキストのクロスアテンションを通じてこれらの領域を洗練し、機能マップに再配布する。 最後に、マルチスケールデコーダは、洗練されたセマンティック特徴と浅い画像証拠を組み合わせる。 QaTa-COV19 と MosMedData+ では、MSSeg はそれぞれ 90.90/83.32 と 81.53/68.82 Dice/mIoU を達成し、7.11M のトレーニング可能なパラメータと 7.60 GFLOP を持つ。 コード:https://github.com/maklachur/MRSeg。

関連論文リスト

• Enhancing Multimodal Misinformation Detection by Replaying the Whole Story from Image Modality Perspective [23.51937497342985]
  MMD(Multimodal Misinformation Detection)は、誤情報を含むソーシャルメディアの投稿を検知するタスクである。 本稿では,RETSIMDという新しいMDD手法を提案する。具体的には,各テキストを複数のセグメントに分割し,各テキストセグメントが画像で表現できる部分シーンを記述する。 さらに、テキスト画像と画像ラベルの相互情報に関する2つの補助的目的を取り入れ、補助的なテキスト画像生成ベンチマークデータセット上でジェネレータを訓練する。
  論文  参考訳（メタデータ） (2025-11-09T08:37:46Z)
• Multimodal Medical Image Binding via Shared Text Embeddings [15.504918331492716]
  Multimodal Medical Image Binding with Text (Mtextsuperscript3Bind)は、医用画像モダリティのシームレスなアライメントを可能にする新しい事前トレーニングフレームワークである。 Mtextsuperscript3Bindの最初の微調整CLIPライクなイメージテキストモデルは、そのモダリティ固有のテキスト埋め込みスペースを調整する。 Mtextsuperscript3Bindは、ゼロショット、少数ショット分類およびクロスモーダル検索タスクにおいて、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-06-22T15:39:25Z)
• Exploring Fine-Grained Image-Text Alignment for Referring Remote Sensing Image Segmentation [27.13782704236074]
  視覚的および言語的表現を完全に活用するために,新しい参照リモートセンシング画像分割法を提案する。 提案した細粒度画像テキストアライメントモジュール(FIAM)は、入力画像と対応するテキストの特徴を同時に活用する。 本稿では,RefSegRSとRRSIS-Dを含む2つのリモートセンシングデータセットに対する提案手法の有効性を評価する。
  論文  参考訳（メタデータ） (2024-09-20T16:45:32Z)
• Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
  単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。 本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。 文献における既存手法に対して,本手法は良好な性能を発揮する。
  論文  参考訳（メタデータ） (2024-04-01T17:48:15Z)
• CLIM: Contrastive Language-Image Mosaic for Region Representation [58.05870131126816]
  Contrastive Language-Image Mosaic (CLIM) は、領域とテキストの表現を整合させる新しいアプローチである。 CLIMは、異なるオープン語彙オブジェクト検出方法を一貫して改善する。 視覚言語モデルの領域表現を効果的に強化することができる。
  論文  参考訳（メタデータ） (2023-12-18T17:39:47Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Text Reading Order in Uncontrolled Conditions by Sparse Graph Segmentation [71.40119152422295]
  テキストの読み出し順序を識別するための軽量でスケーラブルで一般化可能なアプローチを提案する。 モデルは言語に依存しず、多言語データセットで効果的に実行される。 モバイルデバイスを含むあらゆるプラットフォームにデプロイできるほど小さい。
  論文  参考訳（メタデータ） (2023-05-04T06:21:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。