論文の概要: Benchmarking Large Language Models on Heterogeneous Cognitive and Biomedical Knowledge Graphs: The Role of Graph Grounding in Multi-Hop Reasoning and Hallucination Mitigation

• arxiv url: http://arxiv.org/abs/2611.08315v1
• Date: Thu, 05 Nov 2026 17:12:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.59373
• Title: Benchmarking Large Language Models on Heterogeneous Cognitive and Biomedical Knowledge Graphs: The Role of Graph Grounding in Multi-Hop Reasoning and Hallucination Mitigation
• Title（参考訳）: 異種認知とバイオメディカル知識グラフに基づく大規模言語モデルのベンチマーク:マルチホップ推論と幻覚軽減におけるグラフグラウンドリングの役割
• Abstract要約: 5つの知識グラフ(KG)にまたがる5つの大きな言語モデル(LLM)をベンチマークする。 我々は,KG-aware (graph-grounded)とKG-agnostic条件下での推論深度と事実精度を評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used in biomedical and cognitive neuroscience, but their ability to reason reliably over heterogeneous knowledge graphs (KGs) remains unclear. We benchmark five LLMs (GPT-5.1, Gemini 2.0 Pro, Llama 3, Qwen, and BioGPT) across five KGs: DrugBank, NeuroSynth, Cognitive Atlas, Brain Map, and GDPKG. We introduce a multitier query dataset to evaluate reasoning depth and factual accuracy under KG-aware (graph-grounded) and KG-agnostic conditions. Inter-annotator agreement was substantial, with Cohen's kappa of 0.781 (range: 0.753-0.807) and Fleiss' kappa of 0.77. Results show that general-purpose models, particularly GPT-5.1 and Gemini 2.0 Pro, generally outperform domain-specific models on multi-hop and high-level reasoning tasks, although performance declines as query complexity increases. KG grounding reduces hallucination rates across all evaluated models. Contrary to our initial hypothesis, domain-specific models do not consistently outperform general-purpose models on specialized tasks without graph grounding. These findings highlight the value of combining broad language-model capabilities with structured domain knowledge. We provide practical guidance for selecting LLM-KG integration strategies based on task complexity and computational constraints, and discuss hybrid neurosymbolic architectures for personalized medicine, cognitive disorder diagnosis, and explainable AI.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、生物医学や認知神経科学においてますます使われているが、不均一知識グラフ (KGs) よりも確実に推論できる能力は、いまだに不明である。 我々は、DragonBank、NeuroSynth、Cognitive Atlas、Brain Map、GDPKGの5つのKG(GPT-5.1、Gemini 2.0 Pro、Llama 3、Qwen、BioGPT)をベンチマークした。 我々は,KG-aware (graph-grounded)とKG-agnostic条件下での推論深度と事実精度を評価するための多層クエリデータセットを提案する。 アノテーション間の合意は、コーエンのカッパが0.781(範囲0.753-0.807)、フライスのカッパが0.77であった。 結果として、汎用モデル、特に GPT-5.1 と Gemini 2.0 Pro は、クエリの複雑さが増大するにつれてパフォーマンスが低下するが、一般にマルチホップおよびハイレベル推論タスクにおいてドメイン固有モデルより優れていることが示されている。 KGグラウンドリングは、すべての評価されたモデルにおける幻覚率を減少させる。 最初の仮説とは対照的に、ドメイン固有モデルはグラフグラウンドを使わずに特殊タスクの汎用モデルより一貫して優れているわけではない。 これらの知見は、広範言語モデル機能と構造化ドメイン知識を組み合わせることの価値を浮き彫りにしている。 課題複雑性と計算制約に基づいてLLM-KG統合戦略を選択するための実践的ガイダンスを提供し、パーソナライズド医療のためのハイブリッドニューロシンボリックアーキテクチャ、認知障害診断、説明可能なAIについて議論する。

関連論文リスト

• TIDE: Tree-Induced Fine-Grained Diagnostic Evaluation from Model Behaviors [63.6722033955159]
  木誘導診断評価は, 微粒な機能診断を行うための行動駆動決定木誘導としての診断評価を再放送する。 TIDEを4つのベンチマークで5つのモデルに適用し、その効果を実証する。 TIDEを過去と将来のベンチマークに拡張して、評価結果におけるリッチな行動信号がモデル機能の理解に完全に活用されることを願っている。
  論文  参考訳（メタデータ） (2026-10-21T16:27:48Z)
• LG-Bench: A Graph-Structured Evaluation Benchmark for Life Sciences [69.5138691200144]
  今回紹介するのは、生命科学のためのグラフ構造化ベンチマークで、医学、生物学、化学の分野にまたがる1万以上の高品質なマルチチョイスの質問を特徴とする。 提案手法は,二方向マッチングとセマンティック類似性アルゴリズムを用いて重み付き評価グラフを構築し,ノードが質問を表現し,エッジ重みがセマンティック関係をキャプチャする。 Global Coherence Score (GCS) は意味的に関連する地区内のモデルの一貫性を測定し、Knowledge Balance Score (KBS) は概念的な盲点を明らかにするために、グラフ全体でモデルエラーがどのように分散されているかを分析する。
  論文  参考訳（メタデータ） (2026-10-19T17:38:05Z)
• MHGraphBench: Knowledge Graph-Grounded Benchmarking of Mental Health Knowledge in Large Language Models [13.221931392711406]
  大規模言語モデル(LLM)は、メンタルヘルス領域でますます使われている。 関連バイオメディカルな知識がどの程度うまく捉えられるか、臨床的に健全な構造化された判断にどの程度確実に適用されているかは、いまだ不明である。 本稿では,精神保健機関の認識,関係判断,2ホップ推論におけるLCMの評価を行うための知識グラフ付きベンチマークを提案する。
  論文  参考訳（メタデータ） (2026-05-15T03:55:27Z)
• PathMoE: Interpretable Multimodal Interaction Experts for Pediatric Brain Tumor Classification [30.58342408480846]
  PathMoEは、H&Eスライド、病理報告、核レベルセルグラフを統合する、解釈可能なマルチモーダルフレームワークである。 内科的脳腫瘍データセットと外部TGAデータセットの2つのデータセット固有の分類タスクについて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-03-02T07:17:44Z)
• Enrich-on-Graph: Query-Graph Alignment for Complex Reasoning with LLM Enriching [61.824094419641575]
  大言語モデル(LLM)は知識グラフ質問応答(KGQA)のような知識集約的なシナリオにおける幻覚と事実的誤りに苦しむ これは、構造化知識グラフ(KG)と非構造化クエリのセマンティックギャップによるもので、その焦点や構造に固有の違いが原因である。 既存の手法は通常、バニラKGの資源集約的で非スケーリング可能な推論を用いるが、このギャップを見落としている。 我々は、LLMの事前知識を活用してKGを充実させる柔軟なフレームワークEnrich-on-Graph(EoG)を提案し、グラフとクエリ間のセマンティックギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-25T06:48:52Z)
• In-Context Learning for Label-Efficient Cancer Image Classification in Oncology [1.741659712094955]
  In-context Learning (ICL) は、ドメイン固有の診断タスクに対するモデル再トレーニングの実用的な代替手段である。 視覚言語モデル(VLM)-Paligemma, CLIP, ALIGN, GPT-4o の評価を行った。 ICLは、サイズが小さいにもかかわらず競争力の向上を示し、計算に制約のある臨床環境への展開の可能性を示した。
  論文  参考訳（メタデータ） (2025-05-08T20:49:01Z)
• GFM-RAG: Graph Foundation Model for Retrieval Augmented Generation [83.72561905487447]
  本稿では,新しいグラフ基盤モデル (GFM) である GFM-RAG について紹介する。 GFM-RAGは、複雑なクエリ-知識関係をキャプチャするグラフ構造を理由とする、革新的なグラフニューラルネットワークによって実現されている。 効率とニューラルスケーリング法則との整合性を維持しつつ、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-03T07:04:29Z)
• Biomedical knowledge graph-optimized prompt generation for large language models [1.6658478064349376]
  大規模言語モデル(LLM)は前例のない速度で採用されているが、バイオメディシンのような知識集約ドメインでは依然として課題に直面している。 本稿では,トークン最適化およびロバストな知識グラフに基づくRetrieval Augmented Generationフレームワークを紹介する。
  論文  参考訳（メタデータ） (2023-11-29T03:07:00Z)
• Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study [62.376800537374024]
  我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-06-17T17:55:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。