論文の概要: Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity
- arxiv url: http://arxiv.org/abs/2403.14403v1
- Date: Thu, 21 Mar 2024 13:52:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 14:09:01.275932
- Title: Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity
- Title(参考訳): Adaptive-RAG:質問複雑度による検索型大規模言語モデルへの適応学習
- Authors: Soyeong Jeong, Jinheon Baek, Sukmin Cho, Sung Ju Hwang, Jong C. Park,
- Abstract要約: Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。
本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。
オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
- 参考スコア(独自算出の注目度): 59.57065228857247
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Retrieval-Augmented Large Language Models (LLMs), which incorporate the non-parametric knowledge from external knowledge bases into LLMs, have emerged as a promising approach to enhancing response accuracy in several tasks, such as Question-Answering (QA). However, even though there are various approaches dealing with queries of different complexities, they either handle simple queries with unnecessary computational overhead or fail to adequately address complex multi-step queries; yet, not all user requests fall into only one of the simple or complex categories. In this work, we propose a novel adaptive QA framework, that can dynamically select the most suitable strategy for (retrieval-augmented) LLMs from the simplest to the most sophisticated ones based on the query complexity. Also, this selection process is operationalized with a classifier, which is a smaller LM trained to predict the complexity level of incoming queries with automatically collected labels, obtained from actual predicted outcomes of models and inherent inductive biases in datasets. This approach offers a balanced strategy, seamlessly adapting between the iterative and single-step retrieval-augmented LLMs, as well as the no-retrieval methods, in response to a range of query complexities. We validate our model on a set of open-domain QA datasets, covering multiple query complexities, and show that ours enhances the overall efficiency and accuracy of QA systems, compared to relevant baselines including the adaptive retrieval approaches. Code is available at: https://github.com/starsuzi/Adaptive-RAG.
- Abstract(参考訳): 外部知識ベースからの非パラメトリック知識をLLMに組み込んだ検索型大規模言語モデル (LLM) は,質問回答 (QA) などのタスクにおいて,応答精度を高めるための有望なアプローチとして登場した。
しかし、異なる複雑さのクエリを扱う様々なアプローチがあるにもかかわらず、不要な計算オーバーヘッドを伴う単純なクエリを扱うか、複雑なマルチステップクエリに適切に対処できないかのいずれかである。
本稿では,クエリの複雑さに基づいて,最も単純なものから最も洗練されたものまで,最も適切な(検索可能な)LLM戦略を動的に選択できる,適応型QAフレームワークを提案する。
また、この選択プロセスは、データセットの実際の予測結果と固有の帰納バイアスから得られる、自動収集されたラベルによる入ってくるクエリの複雑さレベルを予測するために訓練された、より小さなLMの分類器で操作される。
このアプローチは、一連のクエリの複雑さに対応するため、反復的および単一ステップの検索拡張LDMと非検索的手法をシームレスに適応するバランスのとれた戦略を提供する。
我々は,複数のクエリの複雑さを網羅したオープンドメインQAデータセットの集合上でモデルを検証し,適応的検索手法を含む関連するベースラインと比較して,QAシステムの全体的な効率性と精度を向上させることを示す。
コードは、https://github.com/starsuzi/Adaptive-RAG.comで入手できる。
関連論文リスト
- SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。
SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。
様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
論文 参考訳(メタデータ) (2024-04-17T01:15:54Z) - RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。
この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。
Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
論文 参考訳(メタデータ) (2024-03-31T08:58:54Z) - Meta Operator for Complex Query Answering on Knowledge Graphs [58.340159346749964]
我々は、異なる複雑なクエリタイプではなく、異なる論理演算子型が一般化性を向上させる鍵であると主張する。
本稿では,メタ演算子を限られたデータで学習し,様々な複雑なクエリの演算子のインスタンスに適応するメタ学習アルゴリズムを提案する。
実験結果から,メタオペレータの学習は,従来のCQAモデルやメタCQAモデルよりも効果的であることが示唆された。
論文 参考訳(メタデータ) (2024-03-15T08:54:25Z) - Interactive-KBQA: Multi-Turn Interactions for Knowledge Base Question
Answering with Large Language Models [8.316367927545373]
Interactive-KBQAは知識ベース(KB)との直接インタラクションを通じて論理形式を生成するように設計されたフレームワークである
提案手法は,WebQuestionsSP, ComplexWebQuestions, KQA Pro, MetaQAデータセット上での競合結果を実現する。
論文 参考訳(メタデータ) (2024-02-23T06:32:18Z) - Relative Preference Optimization: Enhancing LLM Alignment through
Contrasting Responses across Identical and Diverse Prompts [100.76940486636121]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。
RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文で提示された結果を再現するために必要なPyTorchコードは、GitHubで公開されている。
論文 参考訳(メタデータ) (2024-02-12T22:47:57Z) - Type-based Neural Link Prediction Adapter for Complex Query Answering [2.1098688291287475]
本稿では,タイプベースエンティティ関係グラフを構成する新しいモデルであるTypEベースのニューラルリンク予測アダプタ(TENLPA)を提案する。
型情報と複雑な論理的クエリを効果的に結合するために,適応学習機構を導入する。
3つの標準データセットの実験により、TENLPAモデルが複雑なクエリ応答における最先端のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2024-01-29T10:54:28Z) - In-Context Ability Transfer for Question Decomposition in Complex QA [6.745884231594893]
複雑な問合せ課題を解決するために,icat(In-Context Ability Transfer)を提案する。
複雑な質問を単純な質問に分解したり、ステップバイステップの合理性をLSMに生成することができる。
本研究では, 数値推論, 構成複素QA, 不均一複素QAを含む多種多様な複雑なQAタスクについて大規模に実験を行った。
論文 参考訳(メタデータ) (2023-10-26T11:11:07Z) - Successive Prompting for Decomposing Complex Questions [50.00659445976735]
最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。
そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。
我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
論文 参考訳(メタデータ) (2022-12-08T06:03:38Z) - Tradeoffs in Sentence Selection Techniques for Open-Domain Question
Answering [54.541952928070344]
文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。
非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
論文 参考訳(メタデータ) (2020-09-18T23:39:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。