論文の概要: Surgical Alignment in Knowledge Graph Training for Clinical Diagnosis with Large Language Models
- arxiv url: http://arxiv.org/abs/2608.26587v2
- Date: Fri, 28 Aug 2026 16:47:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 15:11:36.090602
- Title: Surgical Alignment in Knowledge Graph Training for Clinical Diagnosis with Large Language Models
- Title(参考訳): 言語モデルを用いた臨床診断のための知識グラフトレーニングにおける外科的アライメント
- Authors: Saksham Khatwani, He Cheng, Majid Afshar, Dmitriy Dligach, Yanjun Gao,
- Abstract要約: 本稿では,5つのバイオメディカル知識グラフ(KG)と3つのトレーニングパラダイムにまたがる系統的研究について述べる。
タスクレベルでは、すべてのパラダイムは非有限のベースラインよりも改善されるが、ドメイン内精度に匹敵する手法は、知識伝達の挙動を著しく異なることを示す。
制御されたアブレーションは、目的とKLが独立してスパーシティに寄与し、スパース更新を生成するパラダイムは推論品質も向上することを示している。
- 参考スコア(独自算出の注目度): 8.35131510062609
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Biomedical knowledge graphs (KGs) offer structured medical knowledge that can ground large language model (LLM) reasoning in clinical diagnosis application, yet how KG signal should be integrated into LLMs remains an open question. We present a systematic study spanning five KG task formulations, three training paradigms, two KGs, and three base LLMs. At the task level, all paradigms improve over the non-finetuned baseline, but methods with comparable in-domain accuracy show substantially different knowledge transfer behavior. We introduce Gradient Intervention Density (GID) and Gradient Distortion (GD) to measure how broadly an optimizer modifies the pretrained model. GID and GD together reveal a clear divide: KG-judgment training under KL regularization produces sparse, localized updates (a regime we term as surgical alignment), while task-specific SFT produces dense ones. A controlled ablation shows that the objective and KL contribute to sparsity independently, and the paradigms that produce sparse updates also improve reasoning quality, even when their in-domain accuracy is lower than task-specific SFT. Assessing KG-LLM integration thus requires complementing accuracy with optimization-geometry diagnostics. Our implementation can be found at https://github.com/LARK-NLP-Lab/Surgical-Alignment.
- Abstract(参考訳): バイオメディカルナレッジグラフ(KG)は、臨床診断への応用において大きな言語モデル(LLM)推論の基礎となる構造化された医療知識を提供するが、どのようにしてKG信号をLLMに組み込むべきかは未解決のままである。
本研究は,5つのKGタスクの定式化,3つのトレーニングパラダイム,2つのKG,3つのベースLLMからなる系統的な研究である。
タスクレベルでは、すべてのパラダイムは非有限のベースラインよりも改善されるが、ドメイン内精度に匹敵する手法は、知識伝達の挙動を著しく異なることを示す。
本稿では,グラディエント・インターベンション密度 (GID) とグラディエント・ディストーション (GD) を導入し,最適化器が事前学習したモデルをどのように修正するかを測る。
GIDとGDは相違点を明らかにしている: KL正則化下でのKGアジャッジメントトレーニングはスパースで局所的な更新(私たちが外科的アライメントと呼ぶ体制)を発生し、タスク固有のSFTは密集したアライメントを生成する。
制御されたアブレーションは、目的とKLが独立してスパース性に寄与することを示し、スパース更新を生成するパラダイムは、ドメイン内精度がタスク固有のSFTよりも低い場合でも、推論品質を向上させる。
したがって、KG-LLM統合を評価するには、最適化幾何診断の精度を補完する必要がある。
実装はhttps://github.com/LARK-NLP-Lab/Surgical-Alignmentで確認できます。
関連論文リスト
- A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。
ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。
本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-29T18:48:21Z) - MedSeqFT: Sequential Fine-tuning Foundation Models for 3D Medical Image Segmentation [55.37355146924576]
MedSeqFTは、医用画像解析のためのシーケンシャルな微調整フレームワークである。
事前訓練されたモデルを新しいタスクに適応させ、表現能力を改善する。
最先端の微調整戦略を一貫して上回ります。
論文 参考訳(メタデータ) (2025-09-07T15:22:53Z) - MedKGent: A Large Language Model Agent Framework for Constructing Temporally Evolving Medical Knowledge Graph [57.54231831309079]
我々は、時間的に進化する医療知識グラフを構築するためのフレームワークであるMedKGentを紹介する。
生医学的知識の出現を, 微粒な日々の時系列でシミュレートする。
結果として得られるKGは156,275個のエンティティと2,971,384個のリレーショナルトリプルを含む。
論文 参考訳(メタデータ) (2025-08-17T15:14:03Z) - MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models [49.765466293296186]
近年,Med-LVLM (Med-LVLMs) の進歩により,対話型診断ツールの新たな可能性が高まっている。
Med-LVLMは、しばしば事実の幻覚に悩まされ、誤った診断につながることがある。
我々は,Med-LVLMの現実性を高めるために,多目的マルチモーダルRAGシステムMMed-RAGを提案する。
論文 参考訳(メタデータ) (2024-10-16T23:03:27Z) - LLaVA Needs More Knowledge: Retrieval Augmented Natural Language Generation with Knowledge Graph for Explaining Thoracic Pathologies [3.2221734920470797]
医用画像のための自然言語記述(NLE)を生成するために,知識グラフ(KG)ベースのデータストアを付加したビジョンランゲージフレームワークを提案する。
本フレームワークでは,生成した説明の精度を向上するだけでなく,直接データ検索を回避してデータのプライバシーを保護できるKGベースの検索機構を採用している。
これらのフレームワークはMIMIC-NLEデータセット上で検証され、最先端の結果が得られる。
論文 参考訳(メタデータ) (2024-10-07T04:59:08Z) - medIKAL: Integrating Knowledge Graphs as Assistants of LLMs for Enhanced Clinical Diagnosis on EMRs [13.806201934732321]
medIKALは、診断能力を高めるために、LLM(Large Language Models)と知識グラフ(KG)を組み合わせる。
medIKALは、そのタイプに基づいて医療記録のエンティティに重み付けされた重要性を割り当て、KG内の候補疾患の正確な局在を可能にする。
新たに導入した中国のEMRデータセットの広範な実験により,medIKALの有効性を検証した。
論文 参考訳(メタデータ) (2024-06-20T13:56:52Z) - Learning ULMFiT and Self-Distillation with Calibration for Medical
Dialogue System [2.055949720959582]
近年,最先端のディープラーニングモデルや伝達学習技術の導入は,NLPタスクの性能向上に寄与している。
一部のディープニューラルネットワークはキャリブレーションが不十分であり、不確実性を誤って見積もっている。
本稿では,医用対話システムにおけるULMFiTと自己蒸留の校正モデルについて検討する。
論文 参考訳(メタデータ) (2021-07-20T17:11:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。