論文の概要: XRF-to-Optical Field-of-View Localization with Vision Language Models
- arxiv url: http://arxiv.org/abs/2608.18309v1
- Date: Tue, 18 Aug 2026 20:41:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.206131
- Title: XRF-to-Optical Field-of-View Localization with Vision Language Models
- Title（参考訳）: 視覚言語モデルを用いたXRF-to-Optical Field-of-View Localization
- Abstract要約: フィールド・オブ・ビュー(FOV)のローカライゼーションは必要だが、外観や構造が様々に異なる場合には困難である。
本稿では,同区間の高対応性および隣接区間の低対応性画像を表す2つのデータセットに対して,トレーニングフリービジョン言語モデル(VLM)のローカライゼーションを評価する。
- 参考スコア（独自算出の注目度）: 3.0668934158765335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Registering images acquired with different microscopy modalities is essential for relating complementary measurements of the same specimen. In correlative X-ray fluorescence (XRF) and optical microscopy, the XRF map often covers only a small region of an optical image acquired from the same or an adjacent tissue section. Field-of-view (FOV) localization is necessary but can be difficult when appearance and structure differ across modalities. Here we evaluate training-free vision language model (VLM) localization on two datasets representing same-section high-correspondence and adjacent-section low-correspondence imaging. We test unconstrained and metadata-constrained search and compare VLMs with geometric controls, classical template matching, and two alternative training-free approaches (DINOv2 and multiGradICON). Direct VLM prompting produced content-dependent spatial signals but was not reliable alone. Classical matching was most accurate when cross-modal structure was preserved but failed in the low-correspondence collection. A proposal-and-verify workflow used repeated VLM predictions as candidates and image-based similarity to select the final location. This workflow recovered useful localization in the low-correspondence regime.
- Abstract（参考訳）: 異なる顕微鏡モダリティで取得した画像の登録は、同じ標本の相補的な測定に不可欠である。
相関X線蛍光(XRF)および光学顕微鏡では、XRFマップは、しばしば、同じまたは隣接する組織部分から取得された光学画像の小さな領域のみをカバーする。
フィールド・オブ・ビュー(FOV)のローカライゼーションは必要だが、外観や構造が様々に異なる場合には困難である。
本稿では,同区間の高対応性および隣接区間の低対応性画像を表す2つのデータセットに対して,トレーニングフリービジョン言語モデル(VLM)のローカライゼーションを評価する。
我々は、制約のないメタデータ制約付き検索を検証し、VLMを幾何学的制御、古典的テンプレートマッチング、および2つの代替トレーニングフリーアプローチ(DINOv2とMultiGradICON)と比較する。
直接VLMはコンテンツに依存した空間信号を生成するが、単独では信頼性が無かった。
古典的マッチングは、クロスモーダル構造が保存された時に最も正確であったが、低対応コレクションでは失敗していた。
提案と検証のワークフローでは、VLM予測を候補として、最終的な位置を選択するためにイメージベースの類似性を使用していた。
このワークフローは、低対応体制における有用なローカライゼーションを回復した。
関連論文リスト
- Acquisition Geometry-Assisted Whole-Group Localization of X-ray Fluorescence Maps in Optical Microscopy Images [3.0668934158765335]
X線蛍光顕微鏡は元素分布をマッピングし、光学顕微鏡は形態学的文脈を提供する。
現在のほとんどの場合、取得メタデータが既にタイルの相対走査位置を記録している場合でも、各XRFタイルは独立して配置されている。
本研究は、XRFタイル群局所化を定式化し、XRFタイル群全体の光フレーム配置を推定する。
論文 参考訳（メタデータ） (2026-08-18T20:33:04Z) - Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models [84.78794648147608]
永続的な幾何学的異常であるモダリティギャップが残っている。
このギャップを埋める以前のアプローチは、過度に単純化された等方的仮定によってほとんど制限されている。
固定フレームモダリティギャップ理論(英語版)を提案し、モダリティギャップを安定バイアスと異方性残差に分解する。
次に、トレーニング不要なモダリティアライメント戦略であるReAlignを紹介します。
論文 参考訳（メタデータ） (2026-02-02T13:59:39Z) - In-Context Adaptation of VLMs for Few-Shot Cell Detection in Optical Microscopy [8.417669097327986]
ファンデーションビジョン言語モデル(VLM)は自然画像に優れるが、バイオメディカル・マイクロスコピーの実用性は乏しい。
In-context Learningに特化してキュレートされた252イメージのキュレートされたコレクションであるMicro-ODベンチマークを導入する。
少ない条件下で8つのVLMを評価し,暗黙の試験時間推論トークンと変種を比較した。
論文 参考訳（メタデータ） (2025-11-04T06:06:02Z) - GLEAM: Learning to Match and Explain in Cross-View Geo-Localization [66.11208984986813]
CVGL(Cross-View Geo-Localization)は、同じ地理的位置の異なる視点から撮影された画像間の対応を識別することに焦点を当てている。
GLEAM-Cは、UAV画像、ストリートマップ、パノラマ画像、地上写真を含む複数のビューとモダリティを衛星画像のみに合わせる基本CVGLモデルである。
従来のCVGL手法では解釈可能性の欠如に対処するため,クロスビュー対応予測と説明可能な推論を組み合わせたGLEAM-Xを提案する。
論文 参考訳（メタデータ） (2025-09-09T07:14:31Z) - Dual-Image Enhanced CLIP for Zero-Shot Anomaly Detection [58.228940066769596]
本稿では,統合視覚言語スコアリングシステムを活用したデュアルイメージ強化CLIP手法を提案する。
提案手法は,画像のペアを処理し,それぞれを視覚的参照として利用することにより,視覚的コンテキストによる推論プロセスを強化する。
提案手法は視覚言語による関節異常検出の可能性を大幅に活用し,従来のSOTA法と同等の性能を示す。
論文 参考訳（メタデータ） (2024-05-08T03:13:20Z) - Image2Sentence based Asymmetrical Zero-shot Composed Image Retrieval [92.13664084464514]
合成画像検索(CIR)の課題は,検索画像とユーザの意図を記述したテキストに基づいて画像を取得することである。
既存の手法は、CIRタスクにおける高度な大規模視覚言語(VL)モデルにおいて大きな進歩を遂げているが、それらは一般的に、モデルトレーニングのためのラベル付き三重項の欠如とリソース制限された環境への展開の困難という2つの大きな問題に悩まされている。
本稿では、VLモデルを利用して合成学習のためのラベルなし画像のみに依存する画像2Sentenceに基づく非対称ゼロショット合成画像検索(ISA)を提案する。
論文 参考訳（メタデータ） (2024-03-03T07:58:03Z) - A Simple and Robust Framework for Cross-Modality Medical Image
Segmentation applied to Vision Transformers [0.0]
単一条件モデルを用いて複数モードの公平な画像分割を実現するための簡単なフレームワークを提案する。
本研究の枠組みは,マルチモーダル全心条件課題において,他のモダリティセグメンテーション手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-09T09:51:44Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:20:00Z) - Unify, Align and Refine: Multi-Level Semantic Alignment for Radiology
Report Generation [48.723504098917324]
マルチレベル・クロスモーダルアライメントを学習するためのUnify, Align, then Refine (UAR)アプローチを提案する。
本稿では,Latent Space Unifier,Cross-modal Representation Aligner,Text-to-Image Refinerの3つの新しいモジュールを紹介する。
IU-XrayおよびMIMIC-CXRベンチマークデータセットの実験と解析は、UARの様々な最先端手法に対する優位性を実証している。
論文 参考訳（メタデータ） (2023-03-28T12:42:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。