論文の概要: GLINT: Sparsely Gated Vision-Language Alignment for Fine-Grained Radiology Representations

• arxiv url: http://arxiv.org/abs/2606.03180v1
• Date: Tue, 02 Jun 2026 05:40:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.780994
• Title: GLINT: Sparsely Gated Vision-Language Alignment for Fine-Grained Radiology Representations
• Title（参考訳）: GLINT:細粒度放射像表現のための視線言語アライメント
• Authors: Jonggwon Park, Seongeun Lee, Junhyun Park, Hannah Yun, Hyunwoong Kim, Sohyun Jeong, Hyewon Kang, Byungmu Yoon, Kyoyun Choi,
• Abstract要約: 本稿では,この疎対応を明示的にモデル化したGLINT(Gated Language-ImagealignedmeNT)を提案する。 GLINTは、フリーテキストクエリからのゼロショット分類、グラウンド化、セグメンテーションを可能にする。 マスクの監督なしに3次元CTボリュームにゼロショットセグメンテーションを初めて示す。
• 参考スコア（独自算出の注目度）: 1.2679579476597642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) for radiology have emerged as a scalable paradigm by leveraging image-report pairs naturally produced in clinical workflows. However, this pairing reveals a mismatch in scale: each finding occupies only a small region of the image, yet supervision is provided only at the global image-report level. This poses a central challenge: prior approaches spread weight densely across all patches rather than concentrating on the sparse subset relevant to a given query. To address this, we present GLINT (Gated Language-Image alignmeNT), a framework that explicitly models this sparse correspondence. On the alignment side, we introduce Sparsely Gated Alignment, a novel architecture in which a sigmoid gate over a separate gate embedding space activates only the patches relevant to each textual query, enforcing explicit sparsity. On the representation side, we add Dense Feature Regularization, which anchors the trainable encoder's intermediate features to a frozen self-supervised learning (SSL) teacher, preserving the fine-grained patch features that the gate relies on. The same recipe applies to both 2D chest X-ray (CXR) and 3D chest computed tomography (CT), built with DINOv3 and V-JEPA 2.1, respectively. GLINT enables zero-shot classification, grounding, and segmentation from free-text queries, and to our knowledge is the first to demonstrate zero-shot segmentation on 3D CT volumes without mask supervision. Notably, the most pronounced gains arise on zero-shot grounding and segmentation, where sparse, query-specific localization is required, consistent with our design intent. In downstream evaluation, GLINT outperforms both SSL encoders and medical VLMs on classification, report generation, and segmentation.
• Abstract（参考訳）: 放射線学のための視覚言語モデル(VLM)は、臨床ワークフローで自然に生成されるイメージレポートペアを活用することにより、スケーラブルなパラダイムとして登場した。 しかし、このペアリングは、画像の小さな領域のみを占有するが、監督は、グローバルな画像レポートレベルでのみ提供される、という、スケールのミスマッチを明らかにしている。 事前のアプローチは、与えられたクエリに関連するスパースサブセットに集中するのではなく、すべてのパッチに重みを拡大する。 そこで我々は,この疎対応を明示的にモデル化したGLINT(Gated Language-ImagealignedmeNT)を提案する。 アライメント側では、Sparsely Gated Alignmentを導入し、Sparsely Gated Alignmentは、個別のゲート埋め込み空間上のシグモノイドゲートが各テキストクエリに関連するパッチのみを活性化し、明示的な疎さを強制する新しいアーキテクチャである。 表現面では、トレーニング可能なエンコーダの中間機能を凍結した自己教師付き学習(SSL)教師にアンロックするDense Feature Regularizationを追加し、ゲートが依存するきめ細かいパッチ機能を保存する。 2D胸部X線(CXR)と3D胸部CT(CT)の両方で、それぞれDINOv3とV-JEPA 2.1で製造されている。 GLINTはフリーテキストクエリからゼロショット分類、グラウンド化、セグメンテーションを可能にする。 特に、ゼロショットグラウンドとセグメンテーションにおいて最も顕著な利益は、スパースでクエリ固有のローカライゼーションが必要であり、設計意図と一致している。 下流評価では、GLINTはSSLエンコーダと医療用VLMの両方で、分類、レポート生成、セグメンテーションに優れています。

関連論文リスト

• LESV: Language Embedded Sparse Voxel Fusion for Open-Vocabulary 3D Scene Understanding [9.377694035678948]
  本稿では,Sparse Voxel Rasterization (SVRaster) を構造的,不随伴な幾何学表現として活用する新しいフレームワークを提案する。 これにより、決定論的で信頼性に配慮した特徴登録プロセスが可能となり、3DGSに共通する意味的出血アーティファクトが抑制される。 提案手法は,Open Vocabulary 3D Object Retrieval と Point Cloud Understanding ベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-04-01T20:48:06Z)
• PGOV3D: Open-Vocabulary 3D Semantic Segmentation with Partial-to-Global Curriculum [20.206273757144547]
  PGOV3Dはオープンな3Dセマンティックセマンティックセグメンテーションを改善するための部分言語カリキュラムを導入した新しいフレームワークである。 我々は、密接な意味情報を提供する部分的なシーンでモデルを事前訓練するが、比較的単純な幾何学である。 第2段階では、よりスペーサーで構造的に複雑である、完全なシーンレベルの点雲上でモデルを微調整する。
  論文  参考訳（メタデータ） (2025-06-30T08:13:07Z)
• PRISM-0: A Predicate-Rich Scene Graph Generation Framework for Zero-Shot Open-Vocabulary Tasks [51.31903029903904]
  SGG(Scene Graphs Generation)では、オブジェクトノードの形式で視覚入力から構造化された表現を抽出し、それらを接続する。 PRISM-0はゼロショットオープン語彙SGGのためのフレームワークで、ボトムアップアプローチで基礎モデルをブートストラップする。 PRIMS-0は、イメージキャプションやSentence-to-Graph Retrievalのような下流タスクを改善する意味のあるグラフを生成する。
  論文  参考訳（メタデータ） (2025-04-01T14:29:51Z)
• A Simple Framework for Open-Vocabulary Segmentation and Detection [85.21641508535679]
  我々は,異なるセグメンテーションと検出データセットから共同で学習する,シンプルなオープン語彙検出フレームワークOpenSeeDを提案する。 まず、事前学習されたテキストエンコーダを導入し、視覚概念を2つのタスクにエンコードし、それらの共通意味空間を学習する。 プレトレーニング後,本モデルでは,セグメンテーションと検出の両方において,競争力あるいは強いゼロショット転送性を示す。
  論文  参考訳（メタデータ） (2023-03-14T17:58:34Z)
• Keep Your Friends Close & Enemies Farther: Debiasing Contrastive Learning with Spatial Priors in 3D Radiology Images [11.251405818285331]
  本研究では,抽出した対応を利用して表現学習のためのより効果的な正負のサンプルを選択する3Dコントラストフレームワーク(Spade)を提案する。 最近の最先端のアプローチと比較して、Spadeは3つの下流セグメンテーションタスクにおいて顕著な改善を示している。
  論文  参考訳（メタデータ） (2022-11-16T03:36:06Z)
• Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
  本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-19T10:41:09Z)
• S3Net: 3D LiDAR Sparse Semantic Segmentation Network [1.330528227599978]
  S3NetはLiDARポイントクラウドセマンティックセグメンテーションのための新しい畳み込みニューラルネットワークである。 sparse intra-channel attention module (sintraam)とsparse inter-channel attention module (sinteram)で構成されるエンコーダ-デコーダバックボーンを採用する。
  論文  参考訳（メタデータ） (2021-03-15T22:15:24Z)
• PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image Segmentation [87.50205728818601]
  本稿では,潜在特徴空間における局所的一貫性を学習するPGL(PresideedGuided Local)自己教師モデルを提案する。 我々のPGLモデルは、局所領域の特異な表現を学習し、したがって構造情報を保持できる。
  論文  参考訳（メタデータ） (2020-11-25T11:03:11Z)
• High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification [84.43394420267794]
  本稿では,高次関係とトポロジ情報を識別的特徴とロバストなアライメントのために学習し,新しい枠組みを提案する。 我々のフレームワークはOccluded-Dukeデータセットで最先端の6.5%mAPスコアを大幅に上回っている。
  論文  参考訳（メタデータ） (2020-03-18T12:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。