論文の概要: Large Language Models Can Better Understand Knowledge Graphs Than We Thought

• arxiv url: http://arxiv.org/abs/2402.11541v4
• Date: Thu, 23 Jan 2025 07:21:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:57:10.241026
• Title: Large Language Models Can Better Understand Knowledge Graphs Than We Thought
• Title（参考訳）: 大規模言語モデルは、思った以上に知識グラフを理解することができる
• Authors: Xinbang Dai, Yuncheng Hua, Tongtong Wu, Yang Sheng, Qiu Ji, Guilin Qi,
• Abstract要約: 大規模言語モデル(LLM)の処理と知識グラフ(KG)の解釈について検討する。 リテラルレベルでは、様々な入力形式に対するLLMの好みを明らかにする。 注意分布レベルでは、これらの嗜好を駆動するメカニズムについて論じる。
• 参考スコア（独自算出の注目度）: 13.336418752729987
• License:
• Abstract: When we integrate factual knowledge from knowledge graphs (KGs) into large language models (LLMs) to enhance their performance, the cost of injection through training increases with the scale of the models. Consequently, there is significant interest in developing prompt strategies that effectively incorporate KG information into LLMs. However, the community has not yet comprehensively understood how LLMs process and interpret KG information in different input formats and organizations within prompts, and researchers often rely on trial and error. To address this gap, we design extensive experiments to empirically study LLMs' comprehension of different KG prompts. At the literal level, we reveal LLMs' preferences for various input formats (from linearized triples to fluent natural language text). At the attention distribution level, we discuss the underlying mechanisms driving these preferences. We then investigate how the organization of structured knowledge impacts LLMs and evaluate LLMs' robustness in processing and utilizing KG information in practical scenarios. Our experiments show that (1) linearized triples are more effective than fluent NL text in helping LLMs understand KG information and answer fact-intensive questions; (2) Different LLMs exhibit varying preferences for different organizational formats of triples; (3) LLMs with larger scales are more susceptible to noisy, incomplete subgraphs.
• Abstract（参考訳）: 知識グラフ(KG)からの事実知識を大規模言語モデル(LLM)に統合して性能を向上させると、モデルの規模に応じてトレーニングによるインジェクションコストが増大する。 その結果、KG情報をLLMに効果的に組み込むプロンプト戦略の開発に大きな関心が寄せられている。 しかし、コミュニティはまだLLMが異なる入力形式や組織でどのようにKG情報を処理し、解釈するかを包括的に理解していない。 このギャップに対処するために、我々は、異なるKGプロンプトのLLMの理解を実証的に研究する広範囲な実験を設計する。 リテラルレベルでは、LLMの様々な入力形式(線形化三重項から流用自然言語テキストまで)の好みを明らかにする。 注意分布レベルでは、これらの嗜好を駆動するメカニズムについて論じる。 次に,構造化知識の組織化がLLMに与える影響について検討し,実用シナリオにおけるKG情報の処理・活用におけるLLMの堅牢性を評価する。 実験の結果, 1) 線形化三重項はKG情報を理解し, 事実集約的な質問に答える上で, 流線型NLテキストよりも有効であること, (2) 異なるLLMは3重項の組織形式に対して様々な好みを示すこと, (3) 大規模化 LLM はノイズや不完全部分グラフの影響を受けやすいこと, が示唆された。

関連論文リスト

• Thinking with Knowledge Graphs: Enhancing LLM Reasoning Through Structured Data [0.9284740716447338]
  大規模言語モデル(LLM)は、自然言語の理解と生成において顕著な能力を示した。 近年の研究では、知識グラフ(KG)を活用してLLM性能を向上させるという有望な成果が示されている。 我々は、KG構造と意味論をLLM表現に密に統合する様々な手法を開発した。
  論文  参考訳（メタデータ） (2024-12-14T02:51:47Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Combining Knowledge Graphs and Large Language Models [4.991122366385628]
  大規模言語モデル(LLM)は、言語理解と生成において驚くべき結果を示す。 幻覚やドメイン固有の知識の欠如など、いくつかの欠点がある。 これらの問題は知識グラフ(KG)を組み込むことで効果的に緩和することができる。 本研究は、KGを用いたLLM、LLMベースのKG、LLM-KGハイブリッドアプローチに関する28の論文の概要をまとめた。
  論文  参考訳（メタデータ） (2024-07-09T05:42:53Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling [34.59678835272862]
  代表的大規模言語モデル(LLM)であるChatGPTは、その強力な創発的能力のために注目されている。 本稿では,知識グラフ強化大言語モデル(KGLLM)によるLLMの強化を提案する。 KGLLMはLLMの事実推論能力を高めるソリューションを提供し、LLM研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2023-06-20T12:21:06Z)
• Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
  大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。 知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
  論文  参考訳（メタデータ） (2023-06-14T07:15:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。