論文の概要: MedKIT: Evaluating Knowledge Integration and Generalization in Large Language Models

• arxiv url: http://arxiv.org/abs/2609.38543v1
• Date: Tue, 29 Sep 2026 21:00:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.733602
• Title: MedKIT: Evaluating Knowledge Integration and Generalization in Large Language Models
• Title（参考訳）: MedKIT:大規模言語モデルにおける知識統合と一般化の評価
• Abstract要約: 既存の知識統合の評価は事実的リコールに重点を置いており、新たに統合された知識が実際に利用可能かどうかについての限られた洞察を提供する。 我々のベンチマークであるMedKITは、臨床アップデートの現実的なシーケンスの下で、モデルがどのように統合され、知識を適用するかを詳細に評価する。 MedKITを用いて、5つの異なるモデルにわたる12の知識統合戦略に関する大規模な実証的研究を行う。
• 参考スコア（独自算出の注目度）: 52.12374286331618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constantly evolving real-world knowledge necessitates models to be updated continuously. Especially in medicine, as clinical evidence changes over time, outdated knowledge can pose safety risks. Existing evaluations of knowledge integration focus on factual recall, offering limited insight into whether newly integrated knowledge is actually usable. Our benchmark MedKIT (Medical Knowledge Integration and Transfer) provides a granular evaluation of how models integrate and apply knowledge under realistic sequences of clinical updates. Each instance corresponds to a factual update derived from clinical evidence, paired with targeted probes that assess transfer across lexical variation, relational transformations, compositional reasoning, and open-ended operationalization, as well as locality tests for knowledge preservation. Using MedKIT, we conduct a large-scale empirical study of 12 knowledge integration strategies across 5 diverse models, including both general-purpose and medical LLMs. Our results reveal a consistent gap between recall and usable knowledge: while most methods achieve strong gains on the original update task and under lexical variation, relational generalization is limited, and no method yields meaningful improvements on compositional or operational tasks. These findings highlight a fundamental challenge in knowledge integration and position MedKIT as a testbed for developing methods that make newly integrated knowledge more consistently usable across tasks and contexts.
• Abstract（参考訳）: 絶え間なく進化する現実世界の知識は、モデルを継続的に更新する必要がある。 特に医学では、臨床証拠が時間とともに変化するにつれて、時代遅れの知識は安全性のリスクを引き起こす。 既存の知識統合の評価は事実的リコールに重点を置いており、新たに統合された知識が実際に利用可能かどうかについての限られた洞察を提供する。 我々のベンチマークであるMedKIT (Medical Knowledge Integration and Transfer) は、モデルがどのように統合され、臨床アップデートの現実的なシーケンスで知識を適用し、適用するかを詳細に評価する。 それぞれの事例は、臨床証拠から得られた事実の更新に対応し、語彙の変化、関係変換、構成推論、オープンな操作性、および知識保存のための局所性テストを評価するターゲットプローブと組み合わせる。 MedKIT を用いて,汎用 LLM および医療用 LLM を含む5 種類のモデルを対象とした,12 の知識統合戦略を大規模に検討した。 提案手法は,従来の更新タスクと語彙的変動の下では高い利得が得られるが,リレーショナル一般化は限定的であり,構成的・操作的タスクにおいて有意義な改善をもたらす手法は存在しない。 これらの知見は,MedKITをタスクやコンテキストにまたがって,新たな統合された知識をより一貫して活用する手法の試験場として位置づける上で,知識統合と位置の根本的な課題を浮き彫りにしている。

関連論文リスト

• Knowledge-driven Augmentation and Retrieval for Integrative Temporal Adaptation [4.268367038882249]
  我々は、統合的時間適応(KARITA)のための知識駆動強化と検索を開発する。 カリタは、多様な時間的変化を捉え、豊富な知識ソースを構築し、統合し、シフトする洞察を活用して、検索と検索の強化学習を選択する。 複数のドメイン,臨床,法学,科学的コーパスにまたがる分類課題について,カリタの評価を行い,時間的適応を伴う複数のドメインにおける一貫した改善を実証した。
  論文  参考訳（メタデータ） (2026-04-23T22:12:18Z)
• MultiMedEdit: A Scenario-Aware Benchmark for Evaluating Knowledge Editing in Medical VQA [31.344312340552495]
  知識編集(KE)は、大規模な言語モデルにおいて、完全なリトレーニングなしに事実知識を更新するためのスケーラブルなアプローチを提供する。 臨床マルチモーダルタスクにおけるKEの評価に適した最初のベンチマークであるMultiMedEditを提案する。 我々のフレームワークは,タスクの理解と推論の両方にまたがり,3次元計量スイート(信頼性,一般性,局所性)を定義し,パラダイム間比較をサポートする。
  論文  参考訳（メタデータ） (2025-08-09T15:36:08Z)
• Beyond Memorization: A Rigorous Evaluation Framework for Medical Knowledge Editing [72.8373875453882]
  知識編集(KE)は,大規模言語モデル(LLM)の特定の事実を,完全なリトレーニングを必要とせずに更新する,有望なアプローチとして登場した。 本稿では,医療領域における既存のKE手法の有効性を厳格に評価するために,MedEditBenchという新しいフレームワークを提案する。 以上の結果から,現在のKE法は,新たなシナリオへの一般化に失敗し,インジェクションされた情報の表層記憶に留まることが示唆された。
  論文  参考訳（メタデータ） (2025-06-04T02:14:43Z)
• Memorizing is Not Enough: Deep Knowledge Injection Through Reasoning [60.01714908976762]
  本稿では,知識注入のレベルである記憶,検索,推論,関連性を定義した4段階の知識注入フレームワークを提案する。 次に、様々な知識注入シナリオを調査し、ベンチマーク上の各シナリオに対する知識注入の深さを評価する。
  論文  参考訳（メタデータ） (2025-04-01T06:59:59Z)
• Reviewing Clinical Knowledge in Medical Large Language Models: Training and Beyond [17.18909853414425]
  臨床知識は現実の医療実践において広く研究されている。 この種の知識を大規模言語モデルに統合することを目的とした研究努力が顕著に増加した。 臨床知識をトレーニングベース、KG支援、RAG支援LSMに組み込むための様々な取り組みについてレビューする。
  論文  参考訳（メタデータ） (2025-02-28T12:00:51Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
  MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。 タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。 クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
  論文  参考訳（メタデータ） (2022-04-12T12:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。