論文の概要: Clue-Guided Path Exploration: Optimizing Knowledge Graph Retrieval with Large Language Models to Address the Information Black Box Challenge

• arxiv url: http://arxiv.org/abs/2401.13444v2
• Date: Mon, 19 Aug 2024 03:25:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 03:47:26.680001
• Title: Clue-Guided Path Exploration: Optimizing Knowledge Graph Retrieval with Large Language Models to Address the Information Black Box Challenge
• Title（参考訳）: Clue-Guided Path Exploration: 情報ブラックボックス問題に対処するための大規模言語モデルを用いた知識グラフ検索の最適化
• Authors: Dehao Tao, Feng Huang, Congqi Wang, Yongfeng Huang, Minghu Jiang,
• Abstract要約: 大規模言語モデルに基づく知識検索を最適化するためのCGPE(Clue-Guided Path Exploration)フレームワークを提案する。 オープンソースデータセットの実験では、CGPEは従来の手法よりも優れており、パラメータが少ないLCMに適用可能であることが明らかになった。
• 参考スコア（独自算出の注目度）: 19.40489486138002
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent times, large language models (LLMs) have showcased remarkable capabilities. However, updating their knowledge poses challenges, potentially leading to inaccuracies when confronted with unfamiliar queries. To address this issue, integrating external knowledge bases such as knowledge graphs with large language models is a viable approach. The key challenge lies in extracting the required knowledge from knowledge graphs based on natural language, demanding high semantic understanding. Therefore, researchers are considering leveraging large language models directly for knowledge retrieval from these graphs. Current efforts typically rely on the comprehensive problem-solving capabilities of large language models. We argue that a problem we term the 'information black box' can significantly impact the practical effectiveness of such methods. Moreover, this kind of methods is less effective for scenarios where the questions are unfamiliar to the large language models. In this paper, we propose a Clue-Guided Path Exploration (CGPE) framework to optimize knowledge retrieval based on large language models. By addressing the 'information black box' issue and employing single-task approaches instead of complex tasks, we have enhanced the accuracy and efficiency of using large language models for retrieving knowledge graphs. Experiments on open-source datasets reveal that CGPE outperforms previous methods and is highly applicable to LLMs with fewer parameters. In some instances, even ChatGLM3, with its 6 billion parameters, can rival the performance of GPT-4. Furthermore, the results indicate a minimal invocation frequency of CGPE on LLMs, suggesting reduced computational overhead. For organizations and individuals facing constraints in computational resources, our research offers significant practical value.
• Abstract（参考訳）: 近年、大きな言語モデル(LLM)は目覚ましい機能を見せている。 しかし、知識の更新は課題を引き起こし、不慣れなクエリに直面すると不正確になる可能性がある。 この問題に対処するためには、知識グラフのような外部知識ベースと大きな言語モデルを統合することが実行可能なアプローチである。 鍵となる課題は、自然言語に基づく知識グラフから必要な知識を抽出し、高い意味論的理解を要求することである。 そのため、研究者はこれらのグラフからの知識検索に大規模言語モデルを直接活用することを検討している。 現在の取り組みは、通常、大きな言語モデルの包括的な問題解決能力に依存しています。 情報ブラックボックス(information black box)と呼ばれる問題は,このような手法の実用性に大きく影響すると考えられる。 さらに、このような手法は、質問が大きな言語モデルになじみのないシナリオでは効果が低い。 本稿では,大規模言語モデルに基づく知識検索を最適化するCGPE(Clue-Guided Path Exploration)フレームワークを提案する。 情報ブラックボックス」問題に対処し、複雑なタスクの代わりに単一タスクアプローチを採用することにより、知識グラフを取得するために大規模言語モデルを使用することの正確さと効率性を高めた。 オープンソースデータセットの実験では、CGPEは従来の手法よりも優れており、パラメータが少ないLCMに適用可能であることが明らかになった。 場合によっては、60億のパラメータを持つChatGLM3でさえ、GPT-4のパフォーマンスに匹敵する可能性がある。 さらに, LLMにおけるCGPEの呼び出し頻度は最小であり, 計算オーバーヘッドの低減が示唆された。 計算資源の制約に直面している組織や個人にとって、我々の研究は重要な実践的価値を提供する。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Combining LLMs and Knowledge Graphs to Reduce Hallucinations in Question Answering [0.0]
  大言語モデル(LLM)と知識グラフ(KG)を組み合わせて、質問応答システムの精度と信頼性を向上させる。 提案手法は,LLM生成クエリの構文的および意味論的妥当性を保証するクエリチェッカーを組み込んだものである。 このアプローチをアクセス可能にするため、ユーザフレンドリーなWebベースのインターフェースが開発されている。
  論文  参考訳（メタデータ） (2024-09-06T10:49:46Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• Infusing Knowledge into Large Language Models with Contextual Prompts [5.865016596356753]
  入力テキスト中の文脈からプロンプトを生成することにより,知識注入のためのシンプルだが一般化可能なアプローチを提案する。 本実験は, 微調整LDMを用いて評価する手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-03T11:19:26Z)
• Query of CC: Unearthing Large Scale Domain-Specific Knowledge from Public Corpora [104.16648246740543]
  大規模言語モデルに基づく効率的なデータ収集手法を提案する。 この方法は、大きな言語モデルを通してシード情報をブートストラップし、公開コーパスから関連データを検索する。 特定のドメインに関する知識関連のデータを収集するだけでなく、潜在的な推論手順でデータを抽出する。
  論文  参考訳（メタデータ） (2024-01-26T03:38:23Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)
• Graph Neural Prompting with Large Language Models [32.97391910476073]
  Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。 複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
  論文  参考訳（メタデータ） (2023-09-27T06:33:29Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• Large Language Models Can Be Easily Distracted by Irrelevant Context [29.315230178997002]
  本研究では,モデル解の精度が無関係な文脈によってどのように影響されるかを検討する。 我々は,大規模言語モデルにおける最先端のプロンプト手法の散らかしやすさをベンチマークで測定する。
  論文  参考訳（メタデータ） (2023-01-31T20:48:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。