論文の概要: SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2406.19215v1
• Date: Thu, 27 Jun 2024 14:38:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 13:58:17.803055
• Title: SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation
• Title（参考訳）: SeaKR: 適応型検索拡張生成のための自己認識型知識検索
• Authors: Zijun Yao, Weijian Qi, Liangming Pan, Shulin Cao, Linmei Hu, Weichuan Liu, Lei Hou, Juanzi Li,
• Abstract要約: 本稿では,Self-Aware Knowledge Retrieval (SeaKR)を紹介する。 SeaKRは, LLMの自己認識不確かさを内部状態から抽出する適応RAGモデルである。 複雑で単純な問合せ解答データセットを用いた実験により,SeaKRが既存の適応RAG法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 45.413854000932886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces Self-aware Knowledge Retrieval (SeaKR), a novel adaptive RAG model that extracts self-aware uncertainty of LLMs from their internal states. SeaKR activates retrieval when the LLMs present high self-aware uncertainty for generation. To effectively integrate retrieved knowledge snippets, SeaKR re-ranks them based on LLM's self-aware uncertainty to preserve the snippet that reduces their uncertainty to the utmost. To facilitate solving complex tasks that require multiple retrievals, SeaKR utilizes their self-aware uncertainty to choose among different reasoning strategies. Our experiments on both complex and simple Question Answering datasets show that SeaKR outperforms existing adaptive RAG methods. We release our code at https://github.com/THU-KEG/SeaKR.
• Abstract（参考訳）: 本稿では,LLMの自己認識不確実性を内部状態から抽出する適応型RAGモデルであるSelf-Aware Knowledge Retrieval(SeaKR)を紹介する。 SeaKRは、LLMが生成に対して高い自己認識不確実性を示すとき、検索を起動する。 検索した知識スニペットを効果的に統合するために、SeaKRはLLMの自己認識の不確実性に基づいてそれらを再ランクし、最も不確実性を減らすスニペットを保存する。 複数の検索を必要とする複雑なタスクの解決を容易にするために、SeaKRは自己認識の不確実性を利用して、異なる推論戦略を選択する。 複雑で単純な問合せ解答データセットを用いた実験により,SeaKRが既存の適応RAG法より優れていることが示された。 コードについてはhttps://github.com/THU-KEG/SeaKR.comで公開しています。

関連論文リスト

• mR$^2$AG: Multimodal Retrieval-Reflection-Augmented Generation for Knowledge-Based VQA [78.45521005703958]
  マルチモーダル検索拡張生成(mRAG)はMLLMに包括的で最新の知識を提供するために自然に導入されている。 我々は、適応的検索と有用な情報ローカライゼーションを実現する textbfRetrieval-textbfReftextbfAugmented textbfGeneration (mR$2$AG) という新しいフレームワークを提案する。 mR$2$AG は INFOSEEK と Encyclopedic-VQA の最先端MLLM を著しく上回る
  論文  参考訳（メタデータ） (2024-11-22T16:15:50Z)
• DORY: Deliberative Prompt Recovery for LLM [11.988508965818767]
  Deliberative PrOmpt Recovery (DORY)は、不確実性を利用してプロンプトを正確に回収する新しいアプローチである。 DORYは出力からのドラフトを再構築し、ヒントでそれらを精製し、不確実性に基づいてノイズを除去する。 評価の結果,DORYは既存のベースラインを上回る性能を示し,約10.82%の性能向上を実現している。
  論文  参考訳（メタデータ） (2024-05-31T07:51:16Z)
• CtrlA: Adaptive Retrieval-Augmented Generation via Inherent Control [26.21425058462886]
  大規模言語モデル(LLM)の幻覚を、検索された外部知識で緩和するための有望な解決策として、検索拡張世代(RAG)が出現している。 本稿では,適応的なRAGを表現的視点から解決し,固有な制御ベースフレームワークであるnameを開発するための最初の試みについて述べる。 実験により、名前は様々なタスクにおいて既存の適応RAG法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-29T03:17:16Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
  外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。 エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。 引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-12-15T18:20:15Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。