論文の概要: Clue-Guided Path Exploration: An Efficient Knowledge Base
Question-Answering Framework with Low Computational Resource Consumption
- arxiv url: http://arxiv.org/abs/2401.13444v1
- Date: Wed, 24 Jan 2024 13:36:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-25 14:29:04.084009
- Title: Clue-Guided Path Exploration: An Efficient Knowledge Base
Question-Answering Framework with Low Computational Resource Consumption
- Title(参考訳): Clue-Guided Path Exploration: 計算資源消費量の少ない効率的な知識ベース質問応答フレームワーク
- Authors: Dehao Tao, Feng Huang, Yongfeng Huang and Minghu Jiang
- Abstract要約: 知識ベースとLLMを効率的にマージするCGPE(Clue-Guided Path Exploration framework)を導入する。
CGPEは、人間が手動で知識を検索する手法にインスパイアされ、必要な知識経路を体系的に探索するための手がかりとして、質問からの情報を利用する。
オープンソースデータセットの実験では、CGPEは従来の手法よりも優れており、パラメータが少ないLCMに適用可能であることが明らかになった。
- 参考スコア(独自算出の注目度): 22.74267517598694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent times, large language models (LLMs) have showcased remarkable
capabilities. However, updating their knowledge poses challenges, potentially
leading to inaccuracies when confronted with unfamiliar queries. While
integrating knowledge graphs with LLMs has been explored, existing approaches
treat LLMs as primary decision-makers, imposing high demands on their
capabilities. This is particularly unsuitable for LLMs with lower computational
costs and relatively poorer performance. In this paper, we introduce a
Clue-Guided Path Exploration framework (CGPE) that efficiently merges a
knowledge base with an LLM, placing less stringent requirements on the model's
capabilities. Inspired by the method humans use to manually retrieve knowledge,
CGPE employs information from the question as clues to systematically explore
the required knowledge path within the knowledge base. Experiments on
open-source datasets reveal that CGPE outperforms previous methods and is
highly applicable to LLMs with fewer parameters. In some instances, even
ChatGLM3, with its 6 billion parameters, can rival the performance of GPT-4.
Furthermore, the results indicate a minimal invocation frequency of CGPE on
LLMs, suggesting reduced computational overhead. For organizations and
individuals facing constraints in computational resources, our research offers
significant practical value.
- Abstract(参考訳): 近年、大きな言語モデル(LLM)は目覚ましい機能を見せている。
しかし、知識の更新は課題を引き起こし、未知のクエリに直面すると不正確になる可能性がある。
LLMと知識グラフの統合が検討されているが、既存のアプローチではLLMを主要な意思決定者として扱い、その能力に対する高い要求を示唆している。
これは計算コストが低く、性能が比較的低いLLMには特に適さない。
本稿では,知識ベースとllmを効率的に統合し,モデルの能力に対してより厳格な要件を課すための,手掛かり付き経路探索フレームワーク(cgpe)を提案する。
CGPEは、人間が手動で知識を検索する手法にインスパイアされ、知識ベース内の必要な知識経路を体系的に探索するための手がかりとして、質問からの情報を利用する。
オープンソースデータセットの実験では、CGPEは従来の手法よりも優れており、パラメータが少ないLCMに適用可能であることが明らかになった。
例えば、60億のパラメータを持つchatglm3でさえ、gpt-4のパフォーマンスに匹敵する可能性がある。
さらに, LLMにおけるCGPEの呼び出し頻度は最小であり, 計算オーバーヘッドの低減が示唆された。
計算資源の制約に直面している組織や個人に対して,本研究は大きな実用的価値を提供する。
関連論文リスト
- Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When
and What to Retrieve for LLMs [64.0049955128318]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳(メタデータ) (2024-02-19T11:11:08Z) - KnowledgeNavigator: Leveraging Large Language Models for Enhanced
Reasoning over Knowledge Graph [11.808990571175269]
大規模言語モデル(LLM)は、その強力な自然言語理解とゼロショット能力によって、様々な下流タスクにおいて優れたパフォーマンスを達成しているが、LLMは依然として知識制限に悩まされている。
本稿では,知識グラフから外部知識を効率的に正確に検索し,これらの課題に対処する新しいフレームワークであるKnowledgeNavigatorを提案する。
我々は,複数のKGQAベンチマーク上でKnowledgeNavigatorを評価し,そのフレームワークの有効性と一般化を実証した。
論文 参考訳(メタデータ) (2023-12-26T04:22:56Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳(メタデータ) (2023-10-08T04:22:33Z) - Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation
with Large Language Models [12.708117108874083]
大きな言語モデル(LLM)は、ゼロショットで自然言語の意図を与えられたコードスニペットを生成する。
従来の研究は、タスク固有のプロンプト例でLLM生成プロセスを導く戦略として、インコンテキストラーニング(ICL)を探求していた。
本稿では,本論文の総合的研究について述べる。
自動コード生成シナリオにおけるLLMのためのPEFT技術。
論文 参考訳(メタデータ) (2023-08-21T04:31:06Z) - Thrust: Adaptively Propels Large Language Models with External Knowledge [58.72867916604562]
大規模事前学習言語モデル(PTLM)は、モデルパラメータの豊富な知識を符号化する。
PTLMの固有の知識は不透明または静的であり、外部の知識を必要とする。
本稿では,外部知識のインスタンスレベル適応推進(IAPEK)を提案する。
論文 参考訳(メタデータ) (2023-07-19T20:16:46Z) - Think-on-Graph: Deep and Responsible Reasoning of Large Language Model
on Knowledge Graph [30.55469220140842]
Think-on-Graph (ToG)は、大規模言語モデル(LLM)における外部知識グラフ(KG)に対する新しいアプローチである。
ToGはKG上でビームサーチを繰り返し実行し、最も有望な推論経路を発見し、最も可能性の高い推論結果を返す。
ToGは、以前のSOTAが追加トレーニングに依存する9つのデータセットのうち6つで、全体的なSOTAを達成する。
論文 参考訳(メタデータ) (2023-07-15T03:31:38Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2023-05-28T13:00:00Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z) - Information Extraction in Low-Resource Scenarios: Survey and Perspective [60.67550275379953]
情報抽出は構造化されていないテキストから構造化された情報を導き出そうとする。
本稿では,emphLLMおよびemphLLMに基づく低リソースIEに対するニューラルアプローチについて概説する。
論文 参考訳(メタデータ) (2022-02-16T13:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。