論文の概要: Generative vector search to improve pathology foundation models across multimodal vision-language tasks
- arxiv url: http://arxiv.org/abs/2512.19360v1
- Date: Mon, 22 Dec 2025 12:59:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-23 18:54:32.759984
- Title: Generative vector search to improve pathology foundation models across multimodal vision-language tasks
- Title(参考訳): マルチモーダル視覚言語タスクにおける病理基盤モデル改善のためのベクトル探索法
- Authors: Markus Ekvall, Ludvig Bergenstråhle, Patrick Truong, Ben Murrell, Joakim Lundeberg,
- Abstract要約: 本稿では,検索性能を向上させるためにクエリ条件付き埋め込みをサンプリングする生成ベクトル探索手法であるLatent Matching(STHLM)を提案する。
STHLMは、科学的文献、臨床ノート、組織像を含む様々なベンチマークにおいて、古典的ベクトル検索よりも重要な改善を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Retrieval-augmented generation improves large language models by grounding outputs in external knowledge sources, reducing hallucinations and addressing knowledge cutoffs. However, standard embedding-based retrieval fails to capture the complexity of multi-concept queries, particularly in domains like biomedicine, where biological data are inherently high-dimensional. For example,omics datasets, and clinical reports simultaneously exhibit numerous molecular, cellular, and physiological features. We present Stochastic Latent Matching (STHLM), a generative vector search method that samples query-conditioned embeddings from text or image inputs to enhance retrieval performance. Analogous to how Chain-of-Thought reasoning enables language models to "think longer" on complex problems, STHLM allows retrieval systems to "search wider" through iterative sampling. STHLM demonstrates critical improvements over classical vector retrieval across diverse benchmarks, including scientific literature, clinical notes, and tissue images, boosting retrieval performance by 10-30% through test-time compute (trading latency for accuracy), while enabling up to a 10-fold compression of embedding dimensions.
- Abstract(参考訳): Retrieval-augmented generationは、外部の知識ソースに出力を接地し、幻覚を減らし、知識の遮断に対処することで、大きな言語モデルを改善する。
しかし、標準的な埋め込みベースの検索は、特に生物学的データが本質的に高次元であるバイオメディシンのような領域において、マルチコンセプトクエリの複雑さを捉えることができない。
例えば、オミクスデータセットや臨床報告は、多数の分子、細胞、生理的特徴を同時に示している。
STHLM(Stochastic Latent Matching)は,テキストや画像からクエリ条件付き埋め込みを抽出し,検索性能を向上させるベクトル探索手法である。
STHLMは、Chain-of-Thought推論によって、複雑な問題に対して言語モデルが"もっと長い"ことを考えることができるように、反復的なサンプリングを通じて、検索システムが"より広い"ことを可能にしている。
STHLMは、科学的文献、臨床ノート、組織画像を含む様々なベンチマークにおける古典的ベクトル検索よりも重要な改善を示し、テスト時間計算(精度のトレーディングレイテンシ)により検索性能を10~30%向上させ、埋め込み次元の最大10倍の圧縮を可能にした。
関連論文リスト
- SHRAG: AFrameworkfor Combining Human-Inspired Search with RAG [0.22940141855172033]
Retrieval-Augmented Generation (RAG) は次世代情報検索の鍵となる技術軸の1つとして認識されている。
本研究では,情報検索とRAGのシームレスな統合を支援する新しいフレームワークであるSHRAGを提案する。
実験の結果,提案手法は論理的検索能力と生成的推論を組み合わせることで,RAGシステムの精度と信頼性を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2025-11-30T08:06:47Z) - How Do LLM-Generated Texts Impact Term-Based Retrieval Models? [76.92519309816008]
本稿では,大規模言語モデル(LLM)が項ベース検索モデルに与える影響について検討する。
言語学的解析により,LLM生成テキストはよりスムーズで低周波なZipf勾配を示すことが明らかとなった。
本研究は,項分布がクエリと密接に一致した文書を優先して,項ベース検索モデルがソースバイアスを示すかどうかを考察する。
論文 参考訳(メタデータ) (2025-08-25T06:43:27Z) - Clinical NLP with Attention-Based Deep Learning for Multi-Disease Prediction [44.0876796031468]
本稿では,電子健康記録テキストの非構造的性質と高次元意味論的複雑さがもたらす課題について論じる。
情報抽出と多ラベル病予測のための統合モデリングを実現するために,注意機構に基づく深層学習手法を提案する。
論文 参考訳(メタデータ) (2025-07-02T07:45:22Z) - Interpreting Multilingual and Document-Length Sensitive Relevance Computations in Neural Retrieval Models through Axiomatic Causal Interventions [0.0]
本研究は,ニューラル検索モデルにおけるリバースエンジニアリング関連性のための軸的因果介入の分析と拡張である。
従来の論文から重要な実験を再現し、クエリ項に関する情報がモデルエンコーディングで取得されることを確認した。
この作業は、スペイン語と中国語のデータセットにアクティベーションパッチを適用し、文書の長さの情報もモデルにエンコードされているかどうかを調べることで拡張する。
論文 参考訳(メタデータ) (2025-05-04T15:30:45Z) - Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。
生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
論文 参考訳(メタデータ) (2025-03-24T17:59:03Z) - Fine-tuning -- a Transfer Learning approach [0.22344294014777952]
電子健康記録(EHR)の欠落は、この貴重な資源に欠落するデータが豊富にあるため、しばしば妨げられる。
既存の深い計算手法は、計算処理とダウンストリーム解析の両方を組み込んだエンドツーエンドのパイプラインに依存している。
本稿では,モジュール型深層学習型計算・分類パイプラインの開発について検討する。
論文 参考訳(メタデータ) (2024-11-06T14:18:23Z) - How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
各種コーパス尺度における生成的検索手法の実証的研究を行った。
我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。
生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
論文 参考訳(メタデータ) (2023-05-19T17:33:38Z) - An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。
近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。
これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
論文 参考訳(メタデータ) (2023-04-17T17:13:42Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳(メタデータ) (2022-08-16T10:22:49Z) - Cancer Subtyping by Improved Transcriptomic Features Using Vector
Quantized Variational Autoencoder [10.835673227875615]
本稿では,Vector Quantized Variational AutoEncoder (VQ-VAE)を提案する。
VQ-VAEは厳密な仮定を課さないため、その潜在機能は入力のより良い表現であり、メインストリームのクラスタリング手法で優れたクラスタリング性能を得ることができる。
論文 参考訳(メタデータ) (2022-07-20T09:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。