論文の概要: Insights into a radiology-specialised multimodal large language model with sparse autoencoders
- arxiv url: http://arxiv.org/abs/2507.12950v2
- Date: Fri, 18 Jul 2025 09:19:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-21 12:36:33.527436
- Title: Insights into a radiology-specialised multimodal large language model with sparse autoencoders
- Title（参考訳）: スパースオートエンコーダを用いたラジオロジー特化多モーダル大言語モデルへの考察
- Authors: Kenza Bouzid, Shruthi Bannur, Felix Meissen, Daniel Coelho de Castro, Anton Schwaighofer, Javier Alvarez-Valle, Stephanie L. Hyland,
- Abstract要約: 解釈可能性によって、AIモデルの安全性、透明性、信頼性が向上する。
機械的解釈可能性(Mechanistic Interpretability)は、人間の解釈可能な特徴を明らかにするための有望なアプローチを提供する。
我々は,Metryoshka-SAEを放射線学専門のマルチモーダル言語モデルMAIRA-2に適用した。
- 参考スコア（独自算出の注目度）: 3.645689442547674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interpretability can improve the safety, transparency and trust of AI models, which is especially important in healthcare applications where decisions often carry significant consequences. Mechanistic interpretability, particularly through the use of sparse autoencoders (SAEs), offers a promising approach for uncovering human-interpretable features within large transformer-based models. In this study, we apply Matryoshka-SAE to the radiology-specialised multimodal large language model, MAIRA-2, to interpret its internal representations. Using large-scale automated interpretability of the SAE features, we identify a range of clinically relevant concepts - including medical devices (e.g., line and tube placements, pacemaker presence), pathologies such as pleural effusion and cardiomegaly, longitudinal changes and textual features. We further examine the influence of these features on model behaviour through steering, demonstrating directional control over generations with mixed success. Our results reveal practical and methodological challenges, yet they offer initial insights into the internal concepts learned by MAIRA-2 - marking a step toward deeper mechanistic understanding and interpretability of a radiology-adapted multimodal large language model, and paving the way for improved model transparency. We release the trained SAEs and interpretations: https://huggingface.co/microsoft/maira-2-sae.
- Abstract（参考訳）: 解釈可能性によってAIモデルの安全性、透明性、信頼性が向上する可能性がある。
機械的解釈可能性、特にスパースオートエンコーダ(SAE)の使用により、大きなトランスフォーマーベースのモデルで人間の解釈可能な特徴を明らかにするための有望なアプローチを提供する。
本研究では,Metryoshka-SAEを放射線学専門のマルチモーダル言語モデルMAIRA-2に適用し,その内部表現を解釈する。
SAE特徴の大規模自動解釈能力を用いて,医療機器(線量,管配置,ペースメーカーの有無,胸水などの病態,縦断的変化,経時的変化,テキスト的特徴など)を含む臨床関連概念を同定した。
さらに、これらの特徴がステアリングによるモデル行動に与える影響について検討し、混合成功による世代ごとの方向性制御を実証する。
この結果から,MAIRA-2 が学習した内部概念に対する初歩的な洞察が得られた。これは,放射線学に適応したマルチモーダル言語モデルのより深い機械的理解と解釈可能性への一歩であり,モデルの透明性向上の道を開くものである。
トレーニングされたSAEと解釈を以下に公開します。
関連論文リスト
- A Versatile Pathology Co-pilot via Reasoning Enhanced Multimodal Large Language Model [26.704101714550827]
本稿では、ROIレベルとWSIレベルのタスクを同時に処理できる汎用MLLMであるSmartPath-R1を提案する。
本フレームワークは,スケール依存型微調整とタスク認識型強化微調整を組み合わせることで,チェーン・オブ・ファシリテータの必要性を回避する。
論文 参考訳（メタデータ） (2025-07-23T08:09:42Z) - A Multi-Modal Deep Learning Framework for Pan-Cancer Prognosis [15.10417643788382]
本稿では,UMPSNetというディープラーニングモデルを提案する。
UMPSNetはテキストテンプレートに4種類の重要なメタデータ(画像情報、癌型情報、治療プロトコル、診断結果)を統合し、テキストエンコーダを導入してテキストの特徴を抽出する。
multi-modality of patient data and joint training を取り入れることで、UMPSNetは全てのSOTAアプローチより優れている。
論文 参考訳（メタデータ） (2025-01-13T02:29:42Z) - Devising a Set of Compact and Explainable Spoken Language Feature for Screening Alzheimer's Disease [52.46922921214341]
アルツハイマー病(AD)は高齢化社会において最も重要な健康問題の一つとなっている。
我々は,大言語モデル(LLM)とTF-IDFモデルの視覚的機能を活用する,説明可能な効果的な機能セットを考案した。
当社の新機能は、自動ADスクリーニングの解釈可能性を高めるステップバイステップで説明し、解釈することができる。
論文 参考訳（メタデータ） (2024-11-28T05:23:22Z) - Manifold-Aware Local Feature Modeling for Semi-Supervised Medical Image Segmentation [20.69908466577971]
マニフォールド対応局所特徴モデリングネットワーク (MANet) を導入し, 多様体監視信号を組み込むことでU-Netアーキテクチャを向上する。
ACDC、LA、Pancreas-NIHといったデータセットに関する我々の実験は、MANetがパフォーマンス指標における最先端の手法を一貫して超越していることを示しています。
論文 参考訳（メタデータ） (2024-10-14T08:40:35Z) - MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。
近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。
SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文 参考訳（メタデータ） (2024-04-13T13:39:26Z) - Unmasking Dementia Detection by Masking Input Gradients: A JSM Approach
to Model Interpretability and Precision [1.5501208213584152]
本稿では,多段階進行に対するアルツハイマー病(AD)分類の解釈可能なマルチモーダルモデルを導入し,ヤコビアン・サリエンシ・マップ(JSM)をモダリティに依存しないツールとして組み込んだ。
アブレーション研究を含む評価では、モデルデバッグと解釈にJSMを用いることの有効性が示され、モデル精度も著しく向上した。
論文 参考訳（メタデータ） (2024-02-25T06:53:35Z) - Robust and Interpretable Medical Image Classifiers via Concept
Bottleneck Models [49.95603725998561]
本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。
具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
論文 参考訳（メタデータ） (2023-10-04T21:57:09Z) - Radiology-GPT: A Large Language Model for Radiology [74.07944784968372]
本稿では,ラジオロジーのための大規模言語モデルであるRadiology-GPTを紹介する。
StableLM、Dolly、LLaMAといった一般的な言語モデルと比較して、優れたパフォーマンスを示している。
放射線診断、研究、通信において大きな汎用性を示す。
論文 参考訳（メタデータ） (2023-06-14T17:57:24Z) - Customizing General-Purpose Foundation Models for Medical Report
Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。
本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文 参考訳（メタデータ） (2023-06-09T03:02:36Z) - Modeling Dense Multimodal Interactions Between Biological Pathways and Histology for Survival Prediction [3.2274401541163322]
本稿では,パスとヒストロジーパッチトークン間の相互作用をモデル化できるメモリ効率の良いマルチモーダルトランスを提案する。
提案モデルであるSURVPATHは,非モーダルベースラインとマルチモーダルベースラインの両方に対して評価した場合に,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-04-13T21:02:32Z) - MIMO: Mutual Integration of Patient Journey and Medical Ontology for
Healthcare Representation Learning [49.57261599776167]
本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
論文 参考訳（メタデータ） (2021-07-20T07:04:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。