論文の概要: Let's Chat to Find the APIs: Connecting Human, LLM and Knowledge Graph through AI Chain

• arxiv url: http://arxiv.org/abs/2309.16134v1
• Date: Thu, 28 Sep 2023 03:31:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 06:07:46.764128
• Title: Let's Chat to Find the APIs: Connecting Human, LLM and Knowledge Graph through AI Chain
• Title（参考訳）: apiを見つけるためにチャットしよう:aiチェーンを通じて人間、llm、ナレッジグラフをつなぐ
• Authors: Qing Huang, Zhenyu Wan, Zhenchang Xing, Changjing Wang, Jieshan Chen, Xiwei Xu, Qinghua Lu
• Abstract要約: 本稿では,APIレコメンデーションのための知識誘導型クエリ明確化手法を提案する。 我々は、知識グラフ(KG)によって導かれる大きな言語モデル(LLM)を用いて、語彙外障害(OOV)を克服する。 我々のアプローチは、5つのステップからなるAIチェーンとして設計されており、それぞれが別々のLLMコールによって処理される。
• 参考スコア（独自算出の注目度）: 21.27256145010061
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: API recommendation methods have evolved from literal and semantic keyword matching to query expansion and query clarification. The latest query clarification method is knowledge graph (KG)-based, but limitations include out-of-vocabulary (OOV) failures and rigid question templates. To address these limitations, we propose a novel knowledge-guided query clarification approach for API recommendation that leverages a large language model (LLM) guided by KG. We utilize the LLM as a neural knowledge base to overcome OOV failures, generating fluent and appropriate clarification questions and options. We also leverage the structured API knowledge and entity relationships stored in the KG to filter out noise, and transfer the optimal clarification path from KG to the LLM, increasing the efficiency of the clarification process. Our approach is designed as an AI chain that consists of five steps, each handled by a separate LLM call, to improve accuracy, efficiency, and fluency for query clarification in API recommendation. We verify the usefulness of each unit in our AI chain, which all received high scores close to a perfect 5. When compared to the baselines, our approach shows a significant improvement in MRR, with a maximum increase of 63.9% higher when the query statement is covered in KG and 37.2% when it is not. Ablation experiments reveal that the guidance of knowledge in the KG and the knowledge-guided pathfinding strategy are crucial for our approach's performance, resulting in a 19.0% and 22.2% increase in MAP, respectively. Our approach demonstrates a way to bridge the gap between KG and LLM, effectively compensating for the strengths and weaknesses of both.
• Abstract（参考訳）: APIレコメンデーションメソッドはリテラルとセマンティックキーワードマッチングからクエリ拡張とクエリの明確化へと進化してきた。 最新のクエリの明確化手法は知識グラフ(KG)に基づくものだが、言語外障害(OOV)や厳密な質問テンプレートなどの制限がある。 このような制約に対処するため,KG が指導する大規模言語モデル (LLM) を活用した知識誘導型クエリ明確化手法を提案する。 LLMを神経知識基盤として利用して、OOV障害を克服し、流動的で適切な明確化の質問や選択肢を生成します。 また,kgに格納された構造的api知識とエンティティの関係を利用してノイズを除去し,最適な明確化パスをkgからllmに転送することで,明確化プロセスの効率を高める。 我々のアプローチは、AIチェーンとして設計されており、それぞれが別々のLCMコールによって処理される5つのステップで構成されている。 私たちはAIチェーンにおける各ユニットの有用性を検証する。 ベースラインと比較すると,クエリステートメントがKGでカバーされている場合,最大63.9%,そうでない場合には37.2%,MRRで最大63.9%向上した。 アブレーション実験により、KGにおける知識の指導と知識誘導パスフィニング戦略がアプローチのパフォーマンスに不可欠であることが判明し、MAPは19.0%、22.2%増加した。 提案手法は,KGとLLMのギャップを埋める手法を示し,両者の長所と短所を効果的に補う。

関連論文リスト

• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• Paths-over-Graph: Knowledge Graph Empowered Large Language Model Reasoning [19.442426875488675]
  我々は,KGから知識推論経路を統合することで,Large Language Models(LLM)推論を強化する新しい手法であるPaths-over-Graph(PoG)を提案する。 PoGは3段階の動的マルチホップパス探索を通じて、マルチホップとマルチエンタリティの問題に取り組む。 実験では、GPT-3.5-TurboのPoGは、GPT-4のToGを最大23.9%上回った。
  論文  参考訳（メタデータ） (2024-10-18T06:57:19Z)
• Tree-of-Traversals: A Zero-Shot Reasoning Algorithm for Augmenting Black-box Language Models with Knowledge Graphs [72.89652710634051]
  知識グラフ(KG)は、信頼性があり、構造化され、ドメイン固有であり、最新の外部知識を提供することで、Large Language Models(LLM)を補完する。 そこで本研究では,ゼロショット推論アルゴリズムであるTree-of-Traversalsを導入する。
  論文  参考訳（メタデータ） (2024-07-31T06:01:24Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning over Knowledge Graph [134.8631016845467]
  我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。 KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。 有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
  論文  参考訳（メタデータ） (2024-02-17T02:07:49Z)
• Enhancing Large Language Models with Pseudo- and Multisource- Knowledge Graphs for Open-ended Question Answering [23.88063210973303]
  Pseudo-Graph GenerationとAtomic Knowledge Verificationを組み合わせたフレームワークを提案する。 ベースラインと比較して、オープンエンド質問に対するROUGE-Lスコアの11.5の最小改善が得られる。
  論文  参考訳（メタデータ） (2024-02-15T12:20:02Z)
• Evaluating and Enhancing Large Language Models for Conversational Reasoning on Knowledge Graphs [4.092862870428798]
  我々は知識グラフ(KG)を用いた現在最先端の大規模言語モデル(GPT-4)の会話推論能力を評価する。 我々は,KG経路の正確かつ適応的な予測を行うために設計された基底KG推論エージェントであるLLM-ARKを紹介する。 LLaMA-2-7B-ARKは、現在の最先端モデルよりも5.28ポイント優れており、ターゲット@1評価基準では36.39%である。
  論文  参考訳（メタデータ） (2023-12-18T15:23:06Z)
• Let's Discover More API Relations: A Large Language Model-based AI Chain for Unsupervised API Relation Inference [19.05884373802318]
  本稿では,大規模言語モデル(LLM)をAPI関係推論のニューラルネットワーク基盤として活用することを提案する。 このアプローチは、LLMを知識ベースとして事前訓練するために使用されるWeb全体を活用し、入力テキストのコンテキストや複雑さに敏感である。 我々は3つのデータセットで平均F1値0.76を達成し、最先端のF1値0.40よりもかなり高い値を得た。
  論文  参考訳（メタデータ） (2023-11-02T14:25:00Z)
• Retrieve-Rewrite-Answer: A KG-to-Text Enhanced LLMs Framework for Knowledge Graph Question Answering [16.434098552925427]
  本稿では,知識グラフ質問応答(KGQA)課題を解決するために,KG拡張言語モデルアプローチについて検討する。 そこで本研究では,KGの知識をテキスト化された文に変換する,応答に敏感なKG-to-Textアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-20T10:42:08Z)
• BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
  本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。