論文の概要: Enhancing Memory Recall in LLMs with Gauss-Tin: A Hybrid Instructional and Gaussian Replay Approach

• arxiv url: http://arxiv.org/abs/2508.09510v1
• Date: Wed, 13 Aug 2025 05:45:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.771299
• Title: Enhancing Memory Recall in LLMs with Gauss-Tin: A Hybrid Instructional and Gaussian Replay Approach
• Title（参考訳）: Gauss-Tinを用いたLLMにおけるメモリリコールの強化--ハイブリッド教育とガウス再生のアプローチ
• Authors: Iing Muttakhiroh, Thomas Fevens,
• Abstract要約: Gauss-Tinは、リプレイ戦略をガウス混合モデルと統合し、トレーニング中のサンプル選択の品質を高める新しいアプローチである。 実験の結果,従来の手法に比べて6%の保持率向上が期待できることがわかった。
• 参考スコア（独自算出の注目度）: 0.35297361401370037
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Despite the significant advancements in Large Language Models (LLMs), catastrophic forgetting remains a substantial challenge, where models lose previously acquired knowledge upon learning new information. Continual learning (CL) strategies have emerged as a potential solution to this problem, with replay-based techniques demonstrating superior performance in preserving learned knowledge. In this context, we introduce Gauss-Tin, a novel approach that integrates the replay strategy with a Gaussian mixture model to enhance the quality of sample selection during training, supplemented by instructional guidance to facilitate the generation of past learning. This method aims to improve LLMs' retention capabilities by strategically reinforcing important past learnings while accommodating new information. Our experimental results indicate a promising 6\% improvement in retention metrics over traditional methods, suggesting that Gauss-Tin is an effective strategy for mitigating catastrophic forgetting in LLMs. This study underscores the potential of hybrid models in enhancing the robustness and adaptability of LLMs in dynamic learning environments.
• Abstract（参考訳）: LLM(Large Language Models)の大幅な進歩にもかかわらず、大惨な忘れ忘れは大きな課題であり、モデルが新しい情報を学ぶ際に獲得した知識を失う。 継続的な学習(CL)戦略は、学習知識の保存において優れたパフォーマンスを示すリプレイベースの技術によって、この問題の潜在的な解決策として現れてきた。 この文脈では,ガウス・チン(Gauss-Tin)という,リプレイ戦略をガウス混合モデルと統合し,学習中のサンプル選択の質を高める手法を導入し,過去の学習を促進するための指導指導によって補足する。 本手法は,新たな情報を提供しつつ,重要な過去の学習を戦略的に補強することにより,LLMの保持能力を向上させることを目的とする。 実験の結果,従来の方法よりも6倍の保持率向上が期待できることが明らかとなり,ガウスチンはLLMの破滅的忘れを緩和するための効果的な戦略であることが示された。 本研究では,動的学習環境におけるLLMの堅牢性と適応性を高めるためのハイブリッドモデルの可能性を明らかにする。

関連論文リスト

• Comparing Knowledge Injection Methods for LLMs in a Low-Resource Regime [13.230760040927496]
  大規模言語モデルに小さな非構造化情報を注入する作業について検討する。 制限されたデータに対する事前トレーニングを継続するだけで、控えめな改善が得られます。 私たちは、小さなデータ体制における忘れる現象に光を当て、新しいコンテンツ学習と既存の能力維持の微妙なバランスを図った。
  論文  参考訳（メタデータ） (2025-08-08T09:48:32Z)
• Feedback-Induced Performance Decline in LLM-Based Decision-Making [6.5990946334144756]
  大規模言語モデル(LLM)は、自然言語の問題記述からコンテキストを抽出することができる。 本稿では,マルコフ決定過程(MDP)におけるこれらのモデルの挙動について考察する。
  論文  参考訳（メタデータ） (2025-07-20T10:38:56Z)
• DYSTIL: Dynamic Strategy Induction with Large Language Models for Reinforcement Learning [27.336254612018404]
  専門家によるデモンストレーションからの強化学習は、長い間、困難な研究課題のままである。 行動クローニングとRLトレーニングを併用した既存の最先端手法は、一般化の貧弱さ、サンプル効率の低さ、モデルの解釈可能性の低さに悩まされることが多い。 本稿では,これらの制約を克服するために,大規模言語モデル (LLM) と統合された新たな戦略に基づく強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-06T05:53:09Z)
• Reasoning Under 1 Billion: Memory-Augmented Reinforcement Learning for Large Language Models [53.4530106173067]
  強化学習(RL)を伴う大規模言語モデル(LLM)は、複雑な推論タスクにおいて有望な改善を示す。 RLは10億のパラメータを持つ小さなLLMでは、効果的に探索するために必要な事前訓練能力が欠如しているため、依然として困難である。 この研究は、この課題に対処するためにエピソード記憶を活用する、新しい本質的なモチベーションアプローチを導入する。
  論文  参考訳（メタデータ） (2025-04-03T04:46:17Z)
• Enhancing LLM Knowledge Learning through Generalization [73.16975077770765]
  我々は,LLMが様々な言い換えの文脈に与えられた同じ事実的知識トークンを継続的に予測する能力は,質問応答によってその知識を抽出する能力と正の相関性を示す。 そこで本稿では,LLMの知識獲得能力を高めるための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-05T17:56:20Z)
• AssistRAG: Boosting the Potential of Large Language Models with an Intelligent Information Assistant [23.366991558162695]
  大規模言語モデルは「幻覚」として知られる事実的に誤った情報を生成する これらの課題に対処するため、我々はAssistRAG(AssistRAG)を用いた検索生成支援システムを提案する。 このアシスタントは、ツールの使用、アクションの実行、メモリ構築、プラン仕様を通じて、メモリと知識を管理する。
  論文  参考訳（メタデータ） (2024-11-11T09:03:52Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• CEM: A Data-Efficient Method for Large Language Models to Continue Evolving From Mistakes [36.14056870453356]
  大きな言語モデルを維持し、その欠点に対処するためには、継続的な学習が不可欠です。 本稿では,CPTデータ収集を目的としたデータ効率の高い手法であるCEM法を提案する。 実験の結果、CEMはドメイン内QAタスクとドメイン外QAタスクの両方で複数のモデルの性能を大幅に向上させ、最大29.63%のゲインを達成している。
  論文  参考訳（メタデータ） (2024-04-11T17:44:56Z)
• Knowledge Editing for Large Language Models: A Survey [51.01368551235289]
  大規模言語モデル(LLM)の大きな欠点の1つは、事前学習に要する計算コストである。 知識に基づくモデル編集(KME)が注目を集めており、特定の知識を組み込むためにLLMを正確に修正することを目的としている。
  論文  参考訳（メタデータ） (2023-10-24T22:18:13Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。