論文の概要: Enhancing LLM Intelligence with ARM-RAG: Auxiliary Rationale Memory for Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2311.04177v1
• Date: Tue, 7 Nov 2023 18:03:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 14:36:41.213314
• Title: Enhancing LLM Intelligence with ARM-RAG: Auxiliary Rationale Memory for Retrieval Augmented Generation
• Title（参考訳）: ARM-RAGによるLCMインテリジェンス向上:検索拡張生成のための補助的Rationaleメモリ
• Authors: Eric Melz
• Abstract要約: 本稿では,ARM-RAG(Auxiliary Rationale Memory for Retrieval Augmented Generation)を提案する。 本研究は,小学校数学の課題において,論理列の保存とその後の検索が性能に肯定的な影響を及ぼすことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are smart but forgetful. Recent studies, (e.g., (Bubeck et al., 2023)) on modern LLMs have shown that they are capable of performing amazing tasks typically necessitating human-level intelligence. However, unlike humans, frozen LLMs do not improve over time; they neither acquire new knowledge nor learn from their successes or failures. Some approaches to improving the intelligence of LLMs include fine-tuning models based on problem-solving performance (Zelikman et al., 2022), and building bigger and more sophisticated models (Bubeck et al., 2023). However, these methods have the drawback of requiring substantial data and computational resources to retrain existing models. In this paper, we explore the use of Retrieval Augmented Generation, also known as RAG (Lewis et al., 2021) to improve problem-solving performance. We propose ARM-RAG (Auxiliary Rationale Memory for Retrieval Augmented Generation), a system that learns from its successes without incurring high training costs. We demonstrate that the storage and subsequent retrieval of reasoning chains have a positive influence on performance in grade-school math problems.
• Abstract（参考訳）: 大規模言語モデル(llm)は賢いが忘れやすい。 現代のLLMにおける最近の研究 (Bubeck et al., 2023) は、人間レベルの知能を必要とする驚くべきタスクを遂行できることを示した。 しかし、人間とは異なり、凍結したllmは時間とともに改善せず、新たな知識を得ることも、成功や失敗から学ぶこともない。 LLMのインテリジェンスを改善するいくつかのアプローチには、問題解決性能に基づく微調整モデル(Zelikman et al., 2022)、より大きく洗練されたモデルの構築(Bubeck et al., 2023)などがある。 しかし、これらの手法は既存のモデルを再トレーニングするためにかなりのデータと計算リソースを必要とするという欠点がある。 本稿では,RAG(Lewis et al., 2021)としても知られるRetrieval Augmented Generationを用いて,問題解決性能の向上を図る。 本稿では,高訓練コストを伴わずにその成功から学習するシステムであるarm-rag (auxiliary rationale memory for search augmented generation)を提案する。 本研究は,小学校数学の課題において,論理列の保存とその後の検索が性能に肯定的な影響を及ぼすことを示す。

関連論文リスト

• AssistRAG: Boosting the Potential of Large Language Models with an Intelligent Information Assistant [23.366991558162695]
  大規模言語モデルは「幻覚」として知られる事実的に誤った情報を生成する これらの課題に対処するため、我々はAssistRAG(AssistRAG)を用いた検索生成支援システムを提案する。 このアシスタントは、ツールの使用、アクションの実行、メモリ構築、プラン仕様を通じて、メモリと知識を管理する。
  論文  参考訳（メタデータ） (2024-11-11T09:03:52Z)
• Causality for Large Language Models [37.10970529459278]
  数十億または数兆のパラメータを持つ大規模言語モデル(LLM)は、膨大なデータセットでトレーニングされており、一連の言語タスクで前例のない成功を収めている。 近年の研究では、LLMは因果オウムとして機能し、因果知識を真に理解したり応用したりすることなくリサイクリングすることができることが強調されている。 本調査は, ライフサイクルのすべての段階において, 因果性がどのようにLCMを強化するかを検討することを目的としている。
  論文  参考訳（メタデータ） (2024-10-20T07:22:23Z)
• Towards Robust Knowledge Unlearning: An Adversarial Framework for Assessing and Improving Unlearning Robustness in Large Language Models [19.015202590038996]
  我々は、未学習モデルを攻撃する動的かつ自動化されたフレームワークであるDynamic Unlearning Attack (DUA)を設計する。 学習過程の堅牢性を効果的に向上する普遍的な枠組みであるLatent Adrial Unlearning (LAU)を提案する。 LAUは学習効率を53.5%以上改善し、近隣の知識の11.6%以下に減らし、モデルの一般的な能力にはほとんど影響を与えないことを示した。
  論文  参考訳（メタデータ） (2024-08-20T09:36:04Z)
• LLMs-as-Instructors: Learning from Errors Toward Automating Model Improvement [93.38736019287224]
  LLMs-as-Instructors"フレームワークは、より小さなターゲットモデルのトレーニングを自律的に強化する。 このフレームワークは、"Learning from Errors"理論にインスパイアされ、ターゲットモデル内の特定のエラーを注意深く分析するインストラクターLLMを使用している。 本フレームワークでは,適切なトレーニングデータに対する誤応答のみに焦点を当てた「エラーからの学習」と,比較学習を用いて誤りの深い理解を行う「コントラストによるエラーからの学習」という2つの戦略を実装している。
  論文  参考訳（メタデータ） (2024-06-29T17:16:04Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)
• Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks [90.11273439036455]
  大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。 外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。 我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:00:00Z)
• When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories [58.3421305091187]
  本稿では,事実知識を記憶する上でのLMの強みと限界を理解することを目的とする。 LMは、あまり一般的でない事実知識に苦しむと同時に、長期にわたる事実知識の記憶力向上に失敗する。 我々は、必要時にのみ非パラメトリックメモリを検索する、強力かつ効率的な検索拡張LMの簡易かつ効果的な手法を考案する。
  論文  参考訳（メタデータ） (2022-12-20T18:30:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。