論文の概要: Enhancing LLM Intelligence with ARM-RAG: Auxiliary Rationale Memory for Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2311.04177v1
• Date: Tue, 7 Nov 2023 18:03:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 14:36:41.213314
• Title: Enhancing LLM Intelligence with ARM-RAG: Auxiliary Rationale Memory for Retrieval Augmented Generation
• Title（参考訳）: ARM-RAGによるLCMインテリジェンス向上:検索拡張生成のための補助的Rationaleメモリ
• Authors: Eric Melz
• Abstract要約: 本稿では,ARM-RAG(Auxiliary Rationale Memory for Retrieval Augmented Generation)を提案する。 本研究は,小学校数学の課題において,論理列の保存とその後の検索が性能に肯定的な影響を及ぼすことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are smart but forgetful. Recent studies, (e.g., (Bubeck et al., 2023)) on modern LLMs have shown that they are capable of performing amazing tasks typically necessitating human-level intelligence. However, unlike humans, frozen LLMs do not improve over time; they neither acquire new knowledge nor learn from their successes or failures. Some approaches to improving the intelligence of LLMs include fine-tuning models based on problem-solving performance (Zelikman et al., 2022), and building bigger and more sophisticated models (Bubeck et al., 2023). However, these methods have the drawback of requiring substantial data and computational resources to retrain existing models. In this paper, we explore the use of Retrieval Augmented Generation, also known as RAG (Lewis et al., 2021) to improve problem-solving performance. We propose ARM-RAG (Auxiliary Rationale Memory for Retrieval Augmented Generation), a system that learns from its successes without incurring high training costs. We demonstrate that the storage and subsequent retrieval of reasoning chains have a positive influence on performance in grade-school math problems.
• Abstract（参考訳）: 大規模言語モデル(llm)は賢いが忘れやすい。 現代のLLMにおける最近の研究 (Bubeck et al., 2023) は、人間レベルの知能を必要とする驚くべきタスクを遂行できることを示した。 しかし、人間とは異なり、凍結したllmは時間とともに改善せず、新たな知識を得ることも、成功や失敗から学ぶこともない。 LLMのインテリジェンスを改善するいくつかのアプローチには、問題解決性能に基づく微調整モデル(Zelikman et al., 2022)、より大きく洗練されたモデルの構築(Bubeck et al., 2023)などがある。 しかし、これらの手法は既存のモデルを再トレーニングするためにかなりのデータと計算リソースを必要とするという欠点がある。 本稿では,RAG(Lewis et al., 2021)としても知られるRetrieval Augmented Generationを用いて,問題解決性能の向上を図る。 本稿では,高訓練コストを伴わずにその成功から学習するシステムであるarm-rag (auxiliary rationale memory for search augmented generation)を提案する。 本研究は,小学校数学の課題において,論理列の保存とその後の検索が性能に肯定的な影響を及ぼすことを示す。

関連論文リスト

• How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? [55.33467849079774]
  ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。 これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
  論文  参考訳（メタデータ） (2025-02-20T12:31:03Z)
• Post-training an LLM for RAG? Train on Self-Generated Demonstrations [18.8726880078299]
  大規模言語モデル(LLM)は知識集約型NLPタスクとしばしば競合する。 検索拡張生成(RAG)は、モデルがコンテキスト内情報を利用することを可能にする。 自己生成型実演を用いたRAG対応LDMの学習法を提案する。
  論文  参考訳（メタデータ） (2025-02-14T23:00:49Z)
• Escaping Collapse: The Strength of Weak Data for Large Language Model Training [15.77316232527746]
  LLMの性能を継続的に向上させるために、どの程度のキュレーションが必要なのかを理論的に検討する枠組みを開発する。 非合成トレーニングデータのほとんどすべてが品質が悪い場合でも、最適なLCMに収束する訓練手順を述べる。
  論文  参考訳（メタデータ） (2025-02-13T03:20:37Z)
• Reusing Embeddings: Reproducible Reward Model Research in Large Language Model Alignment without GPUs [58.18140409409302]
  大規模言語モデル (LLM) は強化学習 (RL) を通じて構造化タスクに大きく進歩した。 チャットボットやコンテンツ生成といった幅広い分野にRLを適用することは、ユニークな課題だ。 埋め込み型報酬モデルを用いた既存の報酬モデルアンサンブル研究の再現事例について述べる。
  論文  参考訳（メタデータ） (2025-02-04T19:37:35Z)
• Adversarial Reasoning at Jailbreaking Time [49.70772424278124]
  テスト時間計算による自動ジェイルブレイクに対する逆推論手法を開発した。 我々のアプローチは、LSMの脆弱性を理解するための新しいパラダイムを導入し、より堅牢で信頼性の高いAIシステムの開発の基礎を築いた。
  論文  参考訳（メタデータ） (2025-02-03T18:59:01Z)
• AssistRAG: Boosting the Potential of Large Language Models with an Intelligent Information Assistant [23.366991558162695]
  大規模言語モデルは「幻覚」として知られる事実的に誤った情報を生成する これらの課題に対処するため、我々はAssistRAG(AssistRAG)を用いた検索生成支援システムを提案する。 このアシスタントは、ツールの使用、アクションの実行、メモリ構築、プラン仕様を通じて、メモリと知識を管理する。
  論文  参考訳（メタデータ） (2024-11-11T09:03:52Z)
• Towards Robust Knowledge Unlearning: An Adversarial Framework for Assessing and Improving Unlearning Robustness in Large Language Models [19.015202590038996]
  我々は、未学習モデルを攻撃する動的かつ自動化されたフレームワークであるDynamic Unlearning Attack (DUA)を設計する。 学習過程の堅牢性を効果的に向上する普遍的な枠組みであるLatent Adrial Unlearning (LAU)を提案する。 LAUは学習効率を53.5%以上改善し、近隣の知識の11.6%以下に減らし、モデルの一般的な能力にはほとんど影響を与えないことを示した。
  論文  参考訳（メタデータ） (2024-08-20T09:36:04Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories [58.3421305091187]
  本稿では,事実知識を記憶する上でのLMの強みと限界を理解することを目的とする。 LMは、あまり一般的でない事実知識に苦しむと同時に、長期にわたる事実知識の記憶力向上に失敗する。 我々は、必要時にのみ非パラメトリックメモリを検索する、強力かつ効率的な検索拡張LMの簡易かつ効果的な手法を考案する。
  論文  参考訳（メタデータ） (2022-12-20T18:30:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。