論文の概要: ActiveRAG: Revealing the Treasures of Knowledge via Active Learning
- arxiv url: http://arxiv.org/abs/2402.13547v1
- Date: Wed, 21 Feb 2024 06:04:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 16:59:05.321341
- Title: ActiveRAG: Revealing the Treasures of Knowledge via Active Learning
- Title(参考訳): ActiveRAG: アクティブラーニングによる知識の宝の発見
- Authors: Zhipeng Xu, Zhenghao Liu, Yibin Liu, Chenyan Xiong, Yukun Yan, Shuo
Wang, Shi Yu, Zhiyuan Liu, Ge Yu
- Abstract要約: Retrieval Augmented Generation (RAG) は、Large Language Models (LLM) の新しいパラダイムを導入した。
我々は、受動的知識獲得から能動的学習機構に移行する革新的なRAGフレームワークであるActiveRAGを提案する。
実験の結果,ActiveRAGは従来のRAGモデルを超え,質問応答データセットの5%の改善を実現していることがわかった。
- 参考スコア(独自算出の注目度): 48.27288876691973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval Augmented Generation (RAG) has introduced a new paradigm for Large
Language Models (LLMs), aiding in the resolution of knowledge-intensive tasks.
However, current RAG models position LLMs as passive knowledge receptors,
thereby restricting their capacity for learning and comprehending external
knowledge. In this paper, we present ActiveRAG, an innovative RAG framework
that shifts from passive knowledge acquisition to an active learning mechanism.
This approach utilizes the Knowledge Construction mechanism to develop a deeper
understanding of external knowledge by associating it with previously acquired
or memorized knowledge. Subsequently, it designs the Cognitive Nexus mechanism
to incorporate the outcomes from both chains of thought and knowledge
construction, thereby calibrating the intrinsic cognition of LLMs. Our
experimental results demonstrate that ActiveRAG surpasses previous RAG models,
achieving a 5% improvement on question-answering datasets. All data and codes
are available at https://github.com/OpenMatch/ActiveRAG.
- Abstract(参考訳): Retrieval Augmented Generation (RAG)は、知識集約的なタスクの解決を支援するLarge Language Models(LLM)の新しいパラダイムを導入した。
しかし、現在のRAGモデルはLLMを受動的知識受容体として位置づけ、学習能力や外部知識の理解能力を制限する。
本稿では、受動的知識獲得から能動的学習機構に移行する革新的なRAGフレームワークであるActiveRAGを提案する。
このアプローチは、知識構築機構を利用して、事前に獲得または記憶された知識と関連付けることで、外部知識をより深く理解する。
その後、認知的Nexusメカニズムを設計し、思考の連鎖と知識構築の両方の結果を取り入れ、LCMの本質的な認知を校正する。
実験の結果,ActiveRAGは従来のRAGモデルを超え,質問応答データセットの5%の改善を実現していることがわかった。
すべてのデータとコードはhttps://github.com/OpenMatch/ActiveRAGで入手できる。
関連論文リスト
- ODA: Observation-Driven Agent for integrating LLMs and Knowledge Graphs [4.3508051546373]
我々は、知識グラフ(KG)に関わるタスクに適した新しいAIフレームワークである観測駆動エージェント(ODA)を紹介する。
織田氏は、グローバルな観察を通じてKG推論能力を導入し、観察、行動、反射の循環的パラダイムを通じて推論能力を向上させる。
ODAはいくつかのデータセットで最先端のパフォーマンスを示し、特に12.87%と8.9%の精度向上を実現している。
論文 参考訳(メタデータ) (2024-04-11T12:16:16Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - ARKS: Active Retrieval in Knowledge Soup for Code Generation [18.22108704150575]
本稿では,コードのための大規模言語モデルを一般化するための高度な戦略である,知識検索におけるActive Retrieval(ARKS)を紹介する。
我々は、クエリを反復的に洗練し、知識のスープを更新するアクティブな検索戦略を採用している。
ChatGPTとCodeLlamaの実験結果から,LDM上でのARKSの平均実行精度が大幅に向上した。
論文 参考訳(メタデータ) (2024-02-19T17:37:28Z) - InfuserKI: Enhancing Large Language Models with Knowledge Graphs via
Infuser-Guided Knowledge Integration [61.554209059971576]
大規模言語モデル(LLM)は、様々な領域にまたがる顕著なオープンジェネレーション機能を示している。
新しい知識を注入すると、以前に獲得した知識を忘れるリスクが生じる。
Infuser-Guided Knowledge Integration フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T03:36:26Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - KnowledgeNavigator: Leveraging Large Language Models for Enhanced
Reasoning over Knowledge Graph [11.808990571175269]
大規模言語モデル(LLM)は、その強力な自然言語理解とゼロショット能力によって、様々な下流タスクにおいて優れたパフォーマンスを達成しているが、LLMは依然として知識制限に悩まされている。
本稿では,知識グラフから外部知識を効率的に正確に検索し,これらの課題に対処する新しいフレームワークであるKnowledgeNavigatorを提案する。
我々は,複数のKGQAベンチマーク上でKnowledgeNavigatorを評価し,そのフレームワークの有効性と一般化を実証した。
論文 参考訳(メタデータ) (2023-12-26T04:22:56Z) - Retrieval-Augmented Generation for Large Language Models: A Survey [17.82361213043507]
大きな言語モデル(LLM)には印象的な能力があるが、幻覚のような課題に直面している。
Retrieval-Augmented Generation (RAG) は,外部データベースからの知識を取り入れた,有望なソリューションとして登場した。
論文 参考訳(メタデータ) (2023-12-18T07:47:33Z) - Well Begun is Half Done: Generator-agnostic Knowledge Pre-Selection for
Knowledge-Grounded Dialogue [24.395322923436026]
本研究は,事前知識を正確に選択できるだけでなく,学習,調整,解釈の負担を軽減できるという利点がある第3のアンダーサーサーサーサーサーサーサーサーサー研究に焦点をあてる。
本稿では,ジェネレータに依存しない知識選択手法であるGATEを提案する。
論文 参考訳(メタデータ) (2023-10-11T17:00:29Z) - Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳(メタデータ) (2023-10-11T08:22:37Z) - Towards a Universal Continuous Knowledge Base [49.95342223987143]
複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。
テキスト分類実験は有望な結果を示す。
我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
論文 参考訳(メタデータ) (2020-12-25T12:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。