論文の概要: Tracing Pharmacological Knowledge In Large Language Models

• arxiv url: http://arxiv.org/abs/2603.03407v1
• Date: Tue, 03 Mar 2026 17:04:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.041575
• Title: Tracing Pharmacological Knowledge In Large Language Models
• Title（参考訳）: 大規模言語モデルにおける薬理学的知識の追跡
• Authors: Basil Hasan Khwaja, Dylan Chen, Guntas Toor, Anastasiya Kuznetsova,
• Abstract要約: 薬物群セマンティクスが大規模言語モデル内でどのように表現され,検索されるかを検討する。 初期の層は、薬物グループの知識をコードする上で重要な役割を担っている。 薬物群セマンティクスはトークンに分散しており、すでに埋め込み空間に存在している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have shown strong empirical performance across pharmacology and drug discovery tasks, yet the internal mechanisms by which they encode pharmacological knowledge remain poorly understood. In this work, we investigate how drug-group semantics are represented and retrieved within Llama-based biomedical language models using causal and probing-based interpretability methods. We apply activation patching to localize where drug-group information is stored across model layers and token positions, and complement this analysis with linear probes trained on token-level and sum-pooled activations. Our results demonstrate that early layers play a key role in encoding drug-group knowledge, with the strongest causal effects arising from intermediate tokens within the drug-group span rather than the final drug-group token. Linear probing further reveals that pharmacological semantics are distributed across tokens and are already present in the embedding space, with token-level probes performing near chance while sum-pooled representations achieve maximal accuracy. Together, these findings suggest that drug-group semantics in LLMs are not localized to single tokens but instead arise from distributed representations. This study provides the first systematic mechanistic analysis of pharmacological knowledge in LLMs, offering insights into how biomedical semantics are encoded in large language models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は薬理学や薬物発見のタスクにまたがって強い経験的性能を示してきたが、薬理学の知識を符号化する内部メカニズムはいまだに理解されていない。 本研究では,Llamaをベースとしたバイオメディカル言語モデルにおいて,薬物群のセマンティクスがどのように表現され,検索されるかを検討する。 薬物群情報をモデル層とトークン位置に分散した場所のローカライズにアクティベーションパッチを適用し,トークンレベルおよび総プール化アクティベーションに基づいてトレーニングされた線形プローブを用いて解析を補完する。 本研究は, 薬物集団の知識を符号化する上で, 初期層が重要な役割を担っていることを示し, 薬物集団のトークンではなく, 薬物集団空間内の中間トークンから生じる最も強い因果効果が示された。 線形探索により、薬理学のセマンティクスがトークンに分散し、既に埋め込み空間に存在し、トークンレベルのプローブがほぼ偶然に実行され、和プーリングされた表現が最大精度を達成していることが明らかになった。 これらの結果から, LLMの薬物群意味論は単一トークンに局在せず, 分散表現から生じることが示唆された。 本研究は, LLMにおける薬理学知識の体系的解析を行い, バイオメディカルセマンティクスが大規模言語モデルでどのように符号化されているかの知見を提供する。

関連論文リスト

• Lost in Tokenization: Context as the Key to Unlocking Biomolecular Understanding in Scientific LLMs [78.18336140706471]
  Sci-LLMは、生物発見を加速するための有望なフロンティアとして登場した。 現在の戦略では生の生体分子配列を処理する際にSci-LLMの推論能力を制限する。 より効果的な戦略は、Sci-LLMに高レベルな構造化コンテキストを提供することである。
  論文  参考訳（メタデータ） (2025-10-27T09:03:21Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Causal Representation Learning from Multimodal Biomedical Observations [57.00712157758845]
  バイオメディカルデータセットの理解を容易にするために,マルチモーダルデータに対するフレキシブルな識別条件と原理的手法を開発した。 主要な理論的貢献は、モジュラリティ間の因果関係の構造的空間性である。 実世界のヒト表現型データセットの結果は、確立された生物医学研究と一致している。
  論文  参考訳（メタデータ） (2024-11-10T16:40:27Z)
• Y-Mol: A Multiscale Biomedical Knowledge-Guided Large Language Model for Drug Development [24.5979645373074]
  Y-Mol は知識誘導型 LLM であり、鉛化合物発見、プリクリニック、クリニック予測といったタスクをこなすように設計されている。 出版物、知識グラフ、専門家が設計した合成データから学習する。 Y-Molは、鉛化合物の発見、分子特性の予測、薬物相互作用のイベントの同定において、汎用LLMよりも著しく優れている。
  論文  参考訳（メタデータ） (2024-10-15T12:39:20Z)
• Large Language Models in Drug Discovery and Development: From Disease Mechanisms to Clinical Trials [49.19897427783105]
  大規模言語モデル(LLM)の創薬・開発分野への統合は、重要なパラダイムシフトである。 これらの先進的な計算モデルが、ターゲット・ディスリーズ・リンクを明らかにし、複雑なバイオメディカルデータを解釈し、薬物分子設計を強化し、薬物の有効性と安全性を予測し、臨床治験プロセスを促進する方法について検討する。
  論文  参考訳（メタデータ） (2024-09-06T02:03:38Z)
• Explainable Biomedical Hypothesis Generation via Retrieval Augmented Generation enabled Large Language Models [46.05020842978823]
  大規模言語モデル(LLM)はこの複雑なデータランドスケープをナビゲートする強力なツールとして登場した。 RAGGEDは、知識統合と仮説生成を伴う研究者を支援するために設計された包括的なワークフローである。
  論文  参考訳（メタデータ） (2024-07-17T07:44:18Z)
• UMLS-KGI-BERT: Data-Centric Knowledge Integration in Transformers for Biomedical Entity Recognition [3.5555176462255824]
  この研究は、UMLSからテキストシーケンスを抽出することにより、バイオメディカルトランスフォーマーエンコーダLMの言語表現を強化するためのデータ中心パラダイムに寄与する。 予め訓練したLMの拡張およびスクラッチからのトレーニングによる実験の結果から,複数の生物医学的,臨床的な名前付きエンティティ認識(NER)タスクにおける下流性能の向上が示された。
  論文  参考訳（メタデータ） (2023-07-20T18:08:34Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• HiPrompt: Few-Shot Biomedical Knowledge Fusion via Hierarchy-Oriented Prompting [33.1455954220194]
  HiPromptは、監督効率の良い知識融合フレームワークである。 階層指向のプロンプトを通じて、大規模言語モデルの数発の推論能力を引き出す。 収集したKG-Hi-BKFベンチマークデータセットの実験的結果は、HiPromptの有効性を示している。
  論文  参考訳（メタデータ） (2023-04-12T16:54:26Z)
• Interpretability from a new lens: Integrating Stratification and Domain knowledge for Biomedical Applications [0.0]
  本稿では, バイオメディカル問題データセットの k-fold cross-validation (CV) への階層化のための新しい計算手法を提案する。 このアプローチはモデルの安定性を改善し、信頼を確立し、トレーニングされたIMLモデルによって生成された結果の説明を提供する。
  論文  参考訳（メタデータ） (2023-03-15T12:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。