論文の概要: Assessing LLMs for Serendipity Discovery in Knowledge Graphs: A Case for Drug Repurposing

• arxiv url: http://arxiv.org/abs/2511.12472v1
• Date: Sun, 16 Nov 2025 06:19:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.187676
• Title: Assessing LLMs for Serendipity Discovery in Knowledge Graphs: A Case for Drug Repurposing
• Title（参考訳）: 知識グラフのセレンディピティー発見のためのLCMの評価 : 薬物再資源化の事例
• Authors: Mengying Wang, Chenhui Ma, Ao Jiao, Tuo Liang, Pengjun Lu, Shrinidhi Hegde, Yu Yin, Evren Gurkan-Cavusoglu, Yinghui Wu,
• Abstract要約: 大規模言語モデル (LLM) は知識グラフ質問応答 (KGQA) を非常に高度な知識を持つ。 本稿では, セレンディピティーを意識したKGQAタスクを正式に定義し, 予期せぬ洞察を明らかにするLLMの能力を評価するためのSerenQAフレームワークを提案する。 我々の実験は、最先端のLLMが検索でうまく機能する一方で、真に驚き、価値のある発見を特定するのに苦戦していることを明らかにした。
• 参考スコア（独自算出の注目度）: 9.041186282442677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have greatly advanced knowledge graph question answering (KGQA), yet existing systems are typically optimized for returning highly relevant but predictable answers. A missing yet desired capacity is to exploit LLMs to suggest surprise and novel ("serendipitious") answers. In this paper, we formally define the serendipity-aware KGQA task and propose the SerenQA framework to evaluate LLMs' ability to uncover unexpected insights in scientific KGQA tasks. SerenQA includes a rigorous serendipity metric based on relevance, novelty, and surprise, along with an expert-annotated benchmark derived from the Clinical Knowledge Graph, focused on drug repurposing. Additionally, it features a structured evaluation pipeline encompassing three subtasks: knowledge retrieval, subgraph reasoning, and serendipity exploration. Our experiments reveal that while state-of-the-art LLMs perform well on retrieval, they still struggle to identify genuinely surprising and valuable discoveries, underscoring a significant room for future improvements. Our curated resources and extended version are released at: https://cwru-db-group.github.io/serenQA.
• Abstract（参考訳）: 大規模言語モデル(LLM)は知識グラフ質問応答(KGQA)が非常に高度な知識を持つが、既存のシステムは一般的に非常に関連性が高く予測可能な答えを返すために最適化されている。 不足するが望まれる能力は、LSMを活用して、驚きと新奇(serendipitious)な答えを提案することである。 本稿では,セレンディピティーを意識したKGQAタスクを正式に定義し,科学的なKGQAタスクにおける予期せぬ洞察を明らかにするLLMの能力を評価するためのSerenQAフレームワークを提案する。 SerenQAには、関連性、ノベルティ、サプライズに基づく厳格なセレンディピティー指標と、医薬品の購入に焦点を当てた臨床知識グラフから派生した専門家によるベンチマークが含まれている。 さらに、知識検索、サブグラフ推論、セレンディピティー探索という3つのサブタスクを含む構造化評価パイプラインも備えている。 我々の実験は、最先端のLLMが検索にうまく機能する一方で、真に驚き、価値のある発見を特定するのに苦慮し、将来の改善のための重要な余地を浮き彫りにしていることを明らかにした。 キュレートされたリソースと拡張されたバージョンは、https://cwru-db-group.github.io/serenQA.comでリリースされます。

関連論文リスト

• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• An Analysis of Decoding Methods for LLM-based Agents for Faithful Multi-Hop Question Answering [44.41915467956464]
  大規模言語モデル(LLM)は、しばしば事実的に不正確な出力を生成する。 この現象は知識集約型NLPタスクにおける精度を制限する。 近年の研究では、モデル世代に対する忠実性を改善するために、トレーニング不要なデコード戦略を探求している。
  論文  参考訳（メタデータ） (2025-03-30T12:18:21Z)
• Understanding LLMs' Fluid Intelligence Deficiency: An Analysis of the ARC Task [71.61879949813998]
  認知研究において、後者の能力は流体インテリジェンスと呼ばれ、人間のインテリジェンスを評価するために重要であると考えられている。 流体インテリジェンス評価に関する最近の研究は、LLMの能力に重大な欠陥を浮き彫りにした。 本研究は,既存のLSMにおいて,スキル構成能力の制限,抽象的な入力形式に慣れていないこと,左から右への復号化の本質的欠如の3つの大きな限界を明らかにした。
  論文  参考訳（メタデータ） (2025-02-11T02:31:09Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• CuriousLLM: Elevating Multi-Document Question Answering with LLM-Enhanced Knowledge Graph Reasoning [0.9295048974480845]
  我々は、好奇心駆動推論機構をLLMエージェントに統合する拡張であるCuriousLLMを提案する。 この機構により、エージェントは関連するフォローアップ質問を生成し、情報検索プロセスをより効率的に導くことができる。 実験の結果,CuriousLLMは多文書質問応答(MD-QA)におけるLLM性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-04-13T20:43:46Z)
• KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph [11.808990571175269]
  大規模言語モデル(LLM)は、その強力な自然言語理解とゼロショット能力によって、様々な下流タスクにおいて優れたパフォーマンスを達成しているが、LLMは依然として知識制限に悩まされている。 本稿では,知識グラフから外部知識を効率的に正確に検索し,これらの課題に対処する新しいフレームワークであるKnowledgeNavigatorを提案する。 我々は,複数のKGQAベンチマーク上でKnowledgeNavigatorを評価し,そのフレームワークの有効性と一般化を実証した。
  論文  参考訳（メタデータ） (2023-12-26T04:22:56Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。