論文の概要: Medical Interpretability and Knowledge Maps of Large Language Models

• arxiv url: http://arxiv.org/abs/2510.11390v1
• Date: Mon, 13 Oct 2025 13:34:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.377375
• Title: Medical Interpretability and Knowledge Maps of Large Language Models
• Title（参考訳）: 大規模言語モデルの医学的解釈可能性と知識マップ
• Authors: Razvan Marinescu, Victoria-Elisabeth Gruber, Diego Fajardo,
• Abstract要約: LLMは, 4つの異なる解釈可能性技術を用いて, 医療知識を表現・処理する方法について検討した。 患者の年齢, 症状, 疾患, 薬物に関する知識を格納した5つのLCMの知識マップを粗い解像度で提示する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a systematic study of medical-domain interpretability in Large Language Models (LLMs). We study how the LLMs both represent and process medical knowledge through four different interpretability techniques: (1) UMAP projections of intermediate activations, (2) gradient-based saliency with respect to the model weights, (3) layer lesioning/removal and (4) activation patching. We present knowledge maps of five LLMs which show, at a coarse-resolution, where knowledge about patient's ages, medical symptoms, diseases and drugs is stored in the models. In particular for Llama3.3-70B, we find that most medical knowledge is processed in the first half of the model's layers. In addition, we find several interesting phenomena: (i) age is often encoded in a non-linear and sometimes discontinuous manner at intermediate layers in the models, (ii) the disease progression representation is non-monotonic and circular at certain layers of the model, (iii) in Llama3.3-70B, drugs cluster better by medical specialty rather than mechanism of action, especially for Llama3.3-70B and (iv) Gemma3-27B and MedGemma-27B have activations that collapse at intermediate layers but recover by the final layers. These results can guide future research on fine-tuning, un-learning or de-biasing LLMs for medical tasks by suggesting at which layers in the model these techniques should be applied.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) における医療領域の解釈可能性に関する体系的研究について述べる。 1) 中間活性化のUMAPプロジェクション, (2) モデル重量に対する勾配に基づく塩分濃度, (3) 層損傷・除去, (4) アクティベーションパッチの4つの異なる解釈可能性技術を用いて, LLMが医療知識を表現・処理する方法について検討した。 患者の年齢, 症状, 疾患, 薬物に関する知識がモデルに格納されている5つのLCMの知識マップを粗い解像度で示す。 特にLlama3.3-70Bの場合、ほとんどの医療知識はモデルの前半層で処理される。 さらに、興味深い現象がいくつか発見されている。 i) 年齢は、しばしばモデル内の中間層において、非線形で不連続な方法で符号化される。 (II)疾患進行の表現は、モデルの特定の層において非単調で円である。 三) Llama3.3-70B において、特に Llama3.3-70B において、作用機構よりも医療専門性により、薬物がよりよく凝集する (iv)Gemma3-27BとMedGemma-27Bは中間層で崩壊するが、最終層によって回復する活性化を持つ。 これらの結果は、これらの手法のモデルにどの層を適用すべきかを示唆することによって、医療タスクのための微調整、未学習、または非バイアス化 LLM の研究を導くことができる。

関連論文リスト

• MDF-MLLM: Deep Fusion Through Cross-Modal Feature Alignment for Contextually Aware Fundoscopic Image Classification [0.32622301272834514]
  既存のマルチモーダル大言語モデル(MLLM)は網膜疾患の診断に不可欠な低レベルの空間的詳細を捉えるのに苦労することが多い。 このモデル開発と検証は、3つの公開データセットからコンパイルされた1,305個の画像テキストペアに対して行われた。 MDF-MLLMは、4つのU-Net層エンコーダからLLaMA 3.2 11B MLLM内のクロスアテンションブロックへのスキップ機能を統合する。
  論文  参考訳（メタデータ） (2025-09-21T05:46:35Z)
• Zero-Shot Multi-modal Large Language Model v.s. Supervised Deep Learning: A Comparative Study on CT-Based Intracranial Hemorrhage Subtyping [10.890363916095737]
  非造影CTによる頭蓋内出血(ICH)のタイムリー同定は予後予測と治療的判断に重要である。 本研究は、ICHバイナリ分類およびサブタイプにおける従来のディープラーニング手法と比較して、ゼロショットマルチモーダル大言語モデル(MLLM)の性能を評価する。
  論文  参考訳（メタデータ） (2025-05-14T09:54:46Z)
• MedM-VL: What Makes a Good Medical LVLM? [14.598992440829079]
  大規模視覚言語モデル(LVLM)は、複雑な医療課題を解決するための新しいソリューションを提供する。 2次元および3次元の医療用LVLMのモデルアーキテクチャとトレーニング戦略を探求するために、人気のあるLLaVAフレームワークを構築した。 MedM-VL-2D, MedM-VL-CT-Chest, MedM-VL-CT-Chestの2つの事前訓練モデルをリリースする。
  論文  参考訳（メタデータ） (2025-04-06T01:44:46Z)
• SkinGEN: an Explainable Dermatology Diagnosis-to-Generation Framework with Interactive Vision-Language Models [54.32264601568605]
  SkinGENは、VLMが提供する診断結果から参照デモを生成する、診断から生成までのフレームワークである。 システム性能と説明可能性の両方を評価するために,32人の参加者によるユーザスタディを実施している。 その結果、SkinGENはVLM予測に対するユーザの理解を著しく改善し、診断プロセスへの信頼を高めることが示されている。
  論文  参考訳（メタデータ） (2024-04-23T05:36:33Z)
• Large Language Model Distilling Medication Recommendation Model [58.94186280631342]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• Successive Subspace Learning for Cardiac Disease Classification with Two-phase Deformation Fields from Cine MRI [36.044984400761535]
  本研究は,CVD分類のための軽量な逐次サブスペース学習フレームワークを提案する。 解釈可能なフィードフォワードデザインに基づいており、心房と組み合わせている。 3D CNNベースのアプローチと比較して、我々のフレームワークは140$times$より少ないパラメータで優れた分類性能を実現する。
  論文  参考訳（メタデータ） (2023-01-21T15:00:59Z)
• Integrating Expert ODEs into Neural ODEs: Pharmacology and Disease Progression [71.7560927415706]
  潜在ハイブリッドモデル(LHM)は、専門家が設計したODEのシステムと機械学習したNeural ODEを統合し、システムのダイナミクスを完全に記述する。 新型コロナウイルス患者のLHMと実世界の集中治療データについて検討した。
  論文  参考訳（メタデータ） (2021-06-05T11:42:45Z)
• Relational Subsets Knowledge Distillation for Long-tailed Retinal Diseases Recognition [65.77962788209103]
  本研究では,長尾データを知識に基づいて複数のクラスサブセットに分割し,クラスサブセット学習を提案する。 モデルがサブセット固有の知識の学習に集中するように強制する。 提案手法は長期網膜疾患認識タスクに有効であることが判明した。
  論文  参考訳（メタデータ） (2021-04-22T13:39:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。