論文の概要: Explanations that Transfer: Interpreting Medical Retrieval with Sparse AutoEncoders
- arxiv url: http://arxiv.org/abs/2611.18179v1
- Date: Fri, 13 Nov 2026 13:48:24 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:24:00.966312
- Title: Explanations that Transfer: Interpreting Medical Retrieval with Sparse AutoEncoders
- Title(参考訳): 転送する説明:スパースオートエンコーダによる医用検索の解釈
- Abstract要約: スパースオートエンコーダは, 密接なテキスト埋め込みを意味論的に解釈可能な表現に変換することができる。
提案手法は,最も強く活性化するクエリやドキュメントから,セマンティックな内容が推測可能な解釈可能な特徴を導出することを示す。
- 参考スコア(独自算出の注目度): 8.682015703627131
- License:
- Abstract: Medical AI systems that answer users' queries rely on retrieving medical knowledge from large document collections. In this context, finetuning general models on medical datasets can improve retrieval relevance. Yet the dense embeddings underlying modern retrieval systems remain largely opaque, making it difficult to understand the mechanics behind their results. Moreover, adapting to a specific medical dataset risks losing transferability to new clinical corpora. In this work, we tackle these issues by applying Sparse Autoencoders (SAEs) to medical information retrieval, transforming dense text embeddings into semantically interpretable representations. To do so, our model combines a reconstruction objective with an InfoNCE contrastive loss that directly preserves query-document relevance. We evaluate three embedding models across six medical retrieval datasets, both in-domain and out-of-domain. Trained on a medical corpus, our sparse codes improve in-domain retrieval over the original embeddings, and lose less out-of-domain performance than their dense counterparts, especially when the target corpus is distant from the training one. Importantly, our experiments show that the method yields interpretable features whose semantic content can be inferred from the queries and documents that activate them most strongly. The interpretation of these features sheds light on why a particular document was retrieved, and transfers beyond the training distribution.
- Abstract(参考訳): ユーザのクエリに応答する医療AIシステムは、大規模なドキュメントコレクションから医療知識を取得することに依存している。
この文脈では、医用データセットの汎用モデルを微調整することで、検索の関連性を改善することができる。
しかし、現代の検索システムの基盤となる密接な埋め込みは、ほとんど不透明であり、その結果の背後にある力学を理解することは困難である。
さらに、特定の医療データセットへの適応は、新しい臨床コーパスへの転送可能性を失うリスクを負う。
本研究では,医療情報検索にスパースオートエンコーダ(SAE)を適用し,テキスト埋め込みを意味論的に解釈可能な表現に変換することで,これらの課題に対処する。
そのため,本モデルでは,クエリドキュメントの関連性を直接保存するInfoNCEのコントラスト損失と再構成対象を結合する。
領域内および領域外の両方の6つの医学的検索データセットにまたがる3つの埋め込みモデルを評価する。
医用コーパス上でのトレーニングでは,従来の埋め込みよりもドメイン内検索が向上し,特に標的コーパスがトレーニングコードから離れた場合,ドメイン外性能が低下する。
重要なことは,本手法が最も強く活性化するクエリやドキュメントからセマンティックコンテンツを推測可能な解釈可能な特徴を導出することである。
これらの特徴の解釈は、なぜ特定の文書が回収されたのかを暗示し、トレーニング分布を超えて転送する。
関連論文リスト
- Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction [127.64173950476702]
エージェントが直接、汎用端末ツールを用いて、生コーパスを直接検索する直接コーパス間相互作用(DCI)について検討する。
このアプローチではオフラインインデックスを必要とせず、ローカルコーパスの進化に自然に適応する。
IRベンチマークとエンドツーエンドのエージェント検索タスク全体にわたって、この単純なセットアップは、強いスパース、密度、リランクベースラインよりも大幅に優れています。
論文 参考訳(メタデータ) (2026-05-03T19:13:11Z) - AutoMIR: Effective Zero-Shot Medical Information Retrieval without Relevance Labels [19.90354530235266]
textbfSelf-textbfLearning textbfHypothetical textbfDocument textbfEmbeddings (textbfSL-HyDE)を導入してこの問題に対処する。
SL-HyDEは、与えられたクエリに基づいて仮説文書を生成するために、大きな言語モデル(LLM)をジェネレータとして利用する。
実世界の医療シナリオを基盤とした総合的な評価フレームワークとして,中国医療情報検索ベンチマーク(CMIRB)を提案する。
論文 参考訳(メタデータ) (2024-10-26T02:53:20Z) - Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。
特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。
また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
論文 参考訳(メタデータ) (2024-04-27T05:03:42Z) - Improving Medical Reasoning through Retrieval and Self-Reflection with Retrieval-Augmented Large Language Models [18.984165679347026]
Self-BioRAGは、説明文の生成、ドメイン固有の文書の検索、生成したレスポンスの自己参照を専門とする、バイオメディカルテキストに信頼できるフレームワークである。
84kのバイオメディカル・インストラクション・セットを用いて、カスタマイズされた反射トークンで生成された説明を評価できるセルフビオRAGを訓練する。
論文 参考訳(メタデータ) (2024-01-27T02:29:42Z) - Dense X Retrieval: What Retrieval Granularity Should We Use? [56.90827473115201]
しばしば見過ごされる設計選択は、コーパスが索引付けされる検索単位である。
本稿では,高密度検索のための新しい検索ユニット,命題を提案する。
実験により、提案のような細粒度単位によるコーパスのインデックス付けは、検索タスクにおける通過レベル単位を著しく上回っていることが明らかとなった。
論文 参考訳(メタデータ) (2023-12-11T18:57:35Z) - Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。
目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。
本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文 参考訳(メタデータ) (2021-08-02T10:42:52Z) - On the Combined Use of Extrinsic Semantic Resources for Medical
Information Search [0.0]
本研究は,頭部医学的概念を冗長な問合せで強調・拡張する枠組みを開発する。
また、意味的に強化された逆インデックス文書も作成する。
提案手法の有効性を実証するため,CLEF 2014データセット上でいくつかの実験を行った。
論文 参考訳(メタデータ) (2020-05-17T14:18:04Z) - Learning Contextualized Document Representations for Healthcare Answer
Retrieval [68.02029435111193]
コンテキスト談話ベクトル(英: Contextual Discourse Vectors、CDV)は、長文からの効率的な回答検索のための分散文書表現である。
本モデルでは,階層型LSTMレイヤとマルチタスクトレーニングを併用したデュアルエンコーダアーキテクチャを用いて,臨床エンティティの位置と文書の談話に沿った側面をエンコードする。
我々の一般化モデルは、医療パスランキングにおいて、最先端のベースラインを著しく上回っていることを示す。
論文 参考訳(メタデータ) (2020-02-03T15:47:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。