論文の概要: Enhancing LLM Intelligence with ARM-RAG: Auxiliary Rationale Memory for
Retrieval Augmented Generation
- arxiv url: http://arxiv.org/abs/2311.04177v1
- Date: Tue, 7 Nov 2023 18:03:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 14:36:41.213314
- Title: Enhancing LLM Intelligence with ARM-RAG: Auxiliary Rationale Memory for
Retrieval Augmented Generation
- Title(参考訳): ARM-RAGによるLCMインテリジェンス向上:検索拡張生成のための補助的Rationaleメモリ
- Authors: Eric Melz
- Abstract要約: 本稿では,ARM-RAG(Auxiliary Rationale Memory for Retrieval Augmented Generation)を提案する。
本研究は,小学校数学の課題において,論理列の保存とその後の検索が性能に肯定的な影響を及ぼすことを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are smart but forgetful. Recent studies, (e.g.,
(Bubeck et al., 2023)) on modern LLMs have shown that they are capable of
performing amazing tasks typically necessitating human-level intelligence.
However, unlike humans, frozen LLMs do not improve over time; they neither
acquire new knowledge nor learn from their successes or failures. Some
approaches to improving the intelligence of LLMs include fine-tuning models
based on problem-solving performance (Zelikman et al., 2022), and building
bigger and more sophisticated models (Bubeck et al., 2023). However, these
methods have the drawback of requiring substantial data and computational
resources to retrain existing models. In this paper, we explore the use of
Retrieval Augmented Generation, also known as RAG (Lewis et al., 2021) to
improve problem-solving performance. We propose ARM-RAG (Auxiliary Rationale
Memory for Retrieval Augmented Generation), a system that learns from its
successes without incurring high training costs. We demonstrate that the
storage and subsequent retrieval of reasoning chains have a positive influence
on performance in grade-school math problems.
- Abstract(参考訳): 大規模言語モデル(llm)は賢いが忘れやすい。
現代のLLMにおける最近の研究 (Bubeck et al., 2023) は、人間レベルの知能を必要とする驚くべきタスクを遂行できることを示した。
しかし、人間とは異なり、凍結したllmは時間とともに改善せず、新たな知識を得ることも、成功や失敗から学ぶこともない。
LLMのインテリジェンスを改善するいくつかのアプローチには、問題解決性能に基づく微調整モデル(Zelikman et al., 2022)、より大きく洗練されたモデルの構築(Bubeck et al., 2023)などがある。
しかし、これらの手法は既存のモデルを再トレーニングするためにかなりのデータと計算リソースを必要とするという欠点がある。
本稿では,RAG(Lewis et al., 2021)としても知られるRetrieval Augmented Generationを用いて,問題解決性能の向上を図る。
本稿では,高訓練コストを伴わずにその成功から学習するシステムであるarm-rag (auxiliary rationale memory for search augmented generation)を提案する。
本研究は,小学校数学の課題において,論理列の保存とその後の検索が性能に肯定的な影響を及ぼすことを示す。
関連論文リスト
- MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。
実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。
私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
論文 参考訳(メタデータ) (2024-04-17T18:13:16Z) - RAR-b: Reasoning as Retrieval Benchmark [7.275757292756447]
我々は、推論タスクを検索タスクに変換し、レトリバーモデルに格納された推論能力を評価する。
最近のデコーダベースの埋め込みモデルは、ギャップを狭めることに非常に有望である。
Reasoning as Retrieval Benchmark (RAR-b) は、検索モデルに格納された推論能力を評価するためのタスクと設定の総合的なスイートである。
論文 参考訳(メタデータ) (2024-04-09T14:34:48Z) - RA-ISF: Learning to Answer and Understand from Retrieval Augmentation
via Iterative Self-Feedback [20.249150294489265]
大規模言語モデル(LLM)は多くのタスクにおいて例外的な性能を示すが、それでもパラメータに格納された知識に大きく依存している。
Retrieval-augmented Generation (RAG)メソッドは、外部知識を統合することでこの問題に対処する。
本稿では、反復的にタスクを分解し、3つのサブモジュールで処理し、モデルの問題解決能力を向上するフレームワークであるRetrieval Augmented Iterative Self-Feedback (RA-ISF)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:01:05Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When
and What to Retrieve for LLMs [64.0049955128318]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳(メタデータ) (2024-02-19T11:11:08Z) - The ART of LLM Refinement: Ask, Refine, and Trust [85.75059530612882]
ART: Ask, Refine, and Trust と呼ばれる改良目標を用いた推論を提案する。
LLMがいつその出力を洗練すべきかを決めるために必要な質問を尋ねる。
自己補充ベースラインよりも+5ポイントの性能向上を達成する。
論文 参考訳(メタデータ) (2023-11-14T07:26:32Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳(メタデータ) (2023-10-08T04:22:33Z) - RRAML: Reinforced Retrieval Augmented Machine Learning [10.94680155282906]
我々はReinforced Retrieval Augmented Machine Learning (RRAML)と呼ばれる新しいフレームワークを提案する。
RRAMLは、大規模な言語モデルの推論機能と、巨大なユーザが提供するデータベースから目的に構築された検索者によって取得された情報を統合する。
この論文で概説された研究課題は、AIの分野に大きな影響を与える可能性があると信じている。
論文 参考訳(メタデータ) (2023-07-24T13:51:19Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2023-05-28T13:00:00Z) - When Not to Trust Language Models: Investigating Effectiveness of
Parametric and Non-Parametric Memories [58.3421305091187]
本稿では,事実知識を記憶する上でのLMの強みと限界を理解することを目的とする。
LMは、あまり一般的でない事実知識に苦しむと同時に、長期にわたる事実知識の記憶力向上に失敗する。
我々は、必要時にのみ非パラメトリックメモリを検索する、強力かつ効率的な検索拡張LMの簡易かつ効果的な手法を考案する。
論文 参考訳(メタデータ) (2022-12-20T18:30:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。