論文の概要: Let's Chat to Find the APIs: Connecting Human, LLM and Knowledge Graph
through AI Chain
- arxiv url: http://arxiv.org/abs/2309.16134v1
- Date: Thu, 28 Sep 2023 03:31:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 06:07:46.764128
- Title: Let's Chat to Find the APIs: Connecting Human, LLM and Knowledge Graph
through AI Chain
- Title(参考訳): apiを見つけるためにチャットしよう:aiチェーンを通じて人間、llm、ナレッジグラフをつなぐ
- Authors: Qing Huang, Zhenyu Wan, Zhenchang Xing, Changjing Wang, Jieshan Chen,
Xiwei Xu, Qinghua Lu
- Abstract要約: 本稿では,APIレコメンデーションのための知識誘導型クエリ明確化手法を提案する。
我々は、知識グラフ(KG)によって導かれる大きな言語モデル(LLM)を用いて、語彙外障害(OOV)を克服する。
我々のアプローチは、5つのステップからなるAIチェーンとして設計されており、それぞれが別々のLLMコールによって処理される。
- 参考スコア(独自算出の注目度): 21.27256145010061
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: API recommendation methods have evolved from literal and semantic keyword
matching to query expansion and query clarification. The latest query
clarification method is knowledge graph (KG)-based, but limitations include
out-of-vocabulary (OOV) failures and rigid question templates. To address these
limitations, we propose a novel knowledge-guided query clarification approach
for API recommendation that leverages a large language model (LLM) guided by
KG. We utilize the LLM as a neural knowledge base to overcome OOV failures,
generating fluent and appropriate clarification questions and options. We also
leverage the structured API knowledge and entity relationships stored in the KG
to filter out noise, and transfer the optimal clarification path from KG to the
LLM, increasing the efficiency of the clarification process. Our approach is
designed as an AI chain that consists of five steps, each handled by a separate
LLM call, to improve accuracy, efficiency, and fluency for query clarification
in API recommendation. We verify the usefulness of each unit in our AI chain,
which all received high scores close to a perfect 5. When compared to the
baselines, our approach shows a significant improvement in MRR, with a maximum
increase of 63.9% higher when the query statement is covered in KG and 37.2%
when it is not. Ablation experiments reveal that the guidance of knowledge in
the KG and the knowledge-guided pathfinding strategy are crucial for our
approach's performance, resulting in a 19.0% and 22.2% increase in MAP,
respectively. Our approach demonstrates a way to bridge the gap between KG and
LLM, effectively compensating for the strengths and weaknesses of both.
- Abstract(参考訳): APIレコメンデーションメソッドはリテラルとセマンティックキーワードマッチングからクエリ拡張とクエリの明確化へと進化してきた。
最新のクエリの明確化手法は知識グラフ(KG)に基づくものだが、言語外障害(OOV)や厳密な質問テンプレートなどの制限がある。
このような制約に対処するため,KG が指導する大規模言語モデル (LLM) を活用した知識誘導型クエリ明確化手法を提案する。
LLMを神経知識基盤として利用して、OOV障害を克服し、流動的で適切な明確化の質問や選択肢を生成します。
また,kgに格納された構造的api知識とエンティティの関係を利用してノイズを除去し,最適な明確化パスをkgからllmに転送することで,明確化プロセスの効率を高める。
我々のアプローチは、AIチェーンとして設計されており、それぞれが別々のLCMコールによって処理される5つのステップで構成されている。
私たちはAIチェーンにおける各ユニットの有用性を検証する。
ベースラインと比較すると,クエリステートメントがKGでカバーされている場合,最大63.9%,そうでない場合には37.2%,MRRで最大63.9%向上した。
アブレーション実験により、KGにおける知識の指導と知識誘導パスフィニング戦略がアプローチのパフォーマンスに不可欠であることが判明し、MAPは19.0%、22.2%増加した。
提案手法は,KGとLLMのギャップを埋める手法を示し,両者の長所と短所を効果的に補う。
関連論文リスト
- Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [90.30473970040362]
我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成できる、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。
具体的には、LLMをKGを探索するエージェントとして扱うだけでなく、KGとして扱い、探索したサブグラフに基づいて新たな事実を生成する選択生成探索フレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-23T04:47:22Z) - LLoCO: Learning Long Contexts Offline [63.3458260335454]
LLoCOは,LoRAを用いた文脈圧縮,検索,パラメータ効率の微調整を組み合わせた手法である。
我々は,LLoCOの長文質問応答データセットに対するアプローチを検証し,LLoCOが文脈内学習を著しく上回ることを示す。
論文 参考訳(メタデータ) (2024-04-11T17:57:22Z) - KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning
over Knowledge Graph [134.8631016845467]
我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。
KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。
有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
論文 参考訳(メタデータ) (2024-02-17T02:07:49Z) - Enhancing Large Language Models with Pseudo- and Multisource- Knowledge
Graphs for Open-ended Question Answering [23.88063210973303]
Pseudo-Graph GenerationとAtomic Knowledge Verificationを組み合わせたフレームワークを提案する。
ベースラインと比較して、オープンエンド質問に対するROUGE-Lスコアの11.5の最小改善が得られる。
論文 参考訳(メタデータ) (2024-02-15T12:20:02Z) - ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained
Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。
また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。
実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文 参考訳(メタデータ) (2023-12-30T07:18:54Z) - Evaluating and Enhancing Large Language Models for Conversational
Reasoning on Knowledge Graphs [15.480976967871632]
我々は知識グラフ(KG)を用いた現在最先端の大規模言語モデル(GPT-4)の会話推論能力を評価する。
我々は,KG経路の正確かつ適応的な予測を行うために設計された基底KG推論エージェントであるLLM-ARKを紹介する。
LLaMA-2-7B-ARKは、現在の最先端モデルよりも5.28ポイント優れており、ターゲット@1評価基準では36.39%である。
論文 参考訳(メタデータ) (2023-12-18T15:23:06Z) - Let's Discover More API Relations: A Large Language Model-based AI Chain
for Unsupervised API Relation Inference [19.05884373802318]
本稿では,大規模言語モデル(LLM)をAPI関係推論のニューラルネットワーク基盤として活用することを提案する。
このアプローチは、LLMを知識ベースとして事前訓練するために使用されるWeb全体を活用し、入力テキストのコンテキストや複雑さに敏感である。
我々は3つのデータセットで平均F1値0.76を達成し、最先端のF1値0.40よりもかなり高い値を得た。
論文 参考訳(メタデータ) (2023-11-02T14:25:00Z) - Retrieve-Rewrite-Answer: A KG-to-Text Enhanced LLMs Framework for
Knowledge Graph Question Answering [16.434098552925427]
本稿では,知識グラフ質問応答(KGQA)課題を解決するために,KG拡張言語モデルアプローチについて検討する。
そこで本研究では,KGの知識をテキスト化された文に変換する,応答に敏感なKG-to-Textアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-20T10:42:08Z) - Context Generation Improves Open Domain Question Answering [102.34183939011352]
関連知識を抽出し,質問に答えるために,粗大なアプローチを用いる2段階のクローズドブックQAフレームワークを提案する。
本手法は,学習可能なパラメータの追加や微調整を必要とせずに,事前学習したLMの知識をうまく活用することができる。
論文 参考訳(メタデータ) (2022-10-12T16:00:50Z) - BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from
Pretrained Language Models [65.51390418485207]
本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。
関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。
我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
論文 参考訳(メタデータ) (2022-06-28T19:46:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。