論文の概要: $\text{Memory}^3$: Language Modeling with Explicit Memory

• arxiv url: http://arxiv.org/abs/2407.01178v1
• Date: Mon, 1 Jul 2024 11:07:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-03 21:59:43.042123
• Title: $\text{Memory}^3$: Language Modeling with Explicit Memory
• Title（参考訳）: $\text{Memory}^3$:明示的メモリを用いた言語モデリング
• Abstract要約: 我々は、大言語モデル(LLM)に明示的なメモリ、モデルパラメータよりも安いメモリフォーマット、テキスト検索拡張生成(RAG)を装備する。 予備的な概念実証として, 2.4B LLM をゼロからトレーニングし, より大きな LLM モデルやRAG モデルよりも優れた性能を実現する。 本稿では,知識の外部化を支援するメモリ回路理論を導入し,記憶をトラクタブルにするメモリスペーサー化機構を含む新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 22.572376536612015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The training and inference of large language models (LLMs) are together a costly process that transports knowledge from raw data to meaningful computation. Inspired by the memory hierarchy of the human brain, we reduce this cost by equipping LLMs with explicit memory, a memory format cheaper than model parameters and text retrieval-augmented generation (RAG). Conceptually, with most of its knowledge externalized to explicit memories, the LLM can enjoy a smaller parameter size, training cost, and inference cost, all proportional to the amount of remaining "abstract knowledge". As a preliminary proof of concept, we train from scratch a 2.4B LLM, which achieves better performance than much larger LLMs as well as RAG models, and maintains higher decoding speed than RAG. The model is named $\text{Memory}^3$, since explicit memory is the third form of memory in LLMs after implicit memory (model parameters) and working memory (context key-values). We introduce a memory circuitry theory to support the externalization of knowledge, and present novel techniques including a memory sparsification mechanism that makes storage tractable and a two-stage pretraining scheme that facilitates memory formation.
• Abstract（参考訳）: 大規模言語モデル(LLM)のトレーニングと推論は、原データから意味のある計算へ知識を輸送するコストのかかるプロセスである。 人間の脳の記憶階層にインスパイアされたこのコストは、LLMに明示的なメモリ、モデルパラメータよりも安いメモリフォーマット、テキスト検索拡張生成(RAG)を装備することで削減される。 概念的には、その知識の大部分が明示的な記憶に外部化されているため、LLMはパラメータサイズ、トレーニングコスト、推論コストが小さく、全て残りの「抽象的知識」の量に比例する。 予備的な概念実証として、2.4B LLMをスクラッチからトレーニングし、RAGモデルやRAGモデルよりも優れた性能を実現し、RAGよりも高い復号速度を維持する。 明示的メモリは暗黙的メモリ(モデルパラメータ)とワーキングメモリ(コンテキストキー値)に続くLCMにおける3番目のメモリ形式であるため、このモデルは$\text{Memory}^3$と命名される。 本稿では,知識の外部化を支援するためのメモリ回路理論を導入するとともに,記憶をトラクタブルにするメモリスペーシング機構と,記憶形成を容易にする2段階事前学習方式を含む新しい手法を提案する。

関連論文リスト

• AutoMem: Automated Learning of Memory as a Cognitive Skill [63.07128029793901]
  記憶の専門知識は学習したスキルであることを示す。 メモリ管理の2つの軸を自動化するフレームワークであるAutoMemを紹介する。 その結果,メモリ管理は独立して学習可能なスキルであることが示唆された。
  論文  参考訳（メタデータ） (2026-07-01T17:57:03Z)
• MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning [78.46301394559903]
  大きな言語モデル(LLM)は、長期化タスクにますます使われています。 現在の手法はコストと精度のトレードオフに直面している。 MemSifterは、メモリ検索プロセスを小さなプロキシモデルにオフロードする新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T02:57:38Z)
• Evaluating Long-Term Memory for Long-Context Question Answering [100.1267054069757]
  質問応答タスクにアノテートした合成長文対話のベンチマークであるLoCoMoを用いて,メモリ拡張手法の体系的評価を行う。 以上の結果から,メモリ拡張アプローチによりトークン使用率が90%以上削減され,競争精度が向上した。
  論文  参考訳（メタデータ） (2025-10-27T18:03:50Z)
• MemOS: A Memory OS for AI System [116.87568350346537]
  大規模言語モデル(LLM)は、人工知能(AGI)にとって不可欠な基盤となっている。 既存のモデルは、主に静的パラメータと短命なコンテキスト状態に依存しており、ユーザの好みを追跡したり、長い期間にわたって知識を更新する能力を制限する。 MemOSはメモリを管理可能なシステムリソースとして扱うメモリオペレーティングシステムである。
  論文  参考訳（メタデータ） (2025-07-04T17:21:46Z)
• Memorization and Knowledge Injection in Gated LLMs [8.305942415868042]
  大規模言語モデル(LLM)は、現在、シーケンシャルに新しい記憶を追加し、新しい知識を統合するのに苦労している。 Gated LLM (MEGa) に埋め込まれたメモリは、イベントメモリを直接 LLM の重みに注入する。 推論中、ゲーティング機構は、クエリの埋め込みとストアドメモリの埋め込みとをマッチングすることで、関連するメモリ重みを活性化する。
  論文  参考訳（メタデータ） (2025-04-30T00:28:32Z)
• Memory Layers at Scale [67.00854080570979]
  この研究はメモリ層を概念実証以上のものにし、現代の規模でその有用性を証明している。 ダウンストリームタスクでは、改善されたメモリ層で強化された言語モデルは、予算の2倍以上の高密度モデルよりも優れており、計算とパラメータの両方にマッチする場合の熟練モデルの混合も優れている。 最大128Bのメモリパラメータを持つスケーリング法則を1兆トークンまで事前訓練し,最大8Bパラメータを持つベースモデルと比較した,完全な並列化可能なメモリレイヤの実装を提供する。
  論文  参考訳（メタデータ） (2024-12-12T23:56:57Z)
• Efficiently Training 7B LLM with 1 Million Sequence Length on 8 GPUs [24.066283519769968]
  大規模言語モデル(LLM)は、よりクリエイティブなアプリケーションを促進するために、拡張コンテキスト長を使用して訓練されている。 本稿では,メモリ管理を微粒化するための新しいフレームワークであるMEMOを提案する。 我々は,MEMOがMegatron-LMやDeepSpeedと比較して平均2.42倍,2.26倍のMFUを達成することを示す。
  論文  参考訳（メタデータ） (2024-07-16T18:59:49Z)
• HMT: Hierarchical Memory Transformer for Efficient Long Context Language Processing [33.720656946186885]
  Hierarchical Memory Transformer (HMT) はモデル長文処理を容易にする新しいフレームワークである。 HMTは、既存のモデルの長文処理能力を一貫して改善する。
  論文  参考訳（メタデータ） (2024-05-09T19:32:49Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。 実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。 私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• Empowering Working Memory for Large Language Model Agents [9.83467478231344]
  本稿では,認知心理学のワーキングメモリフレームワークを大規模言語モデル(LLM)に適用する可能性について検討する。 エピソード間の記憶を維持するために、集中型ワーキングメモリハブとエピソディックバッファアクセスを取り入れた革新的なモデルが提案されている。 このアーキテクチャは、複雑なタスクと協調シナリオの間のニュアンス付きコンテキスト推論に対して、より継続的なものを提供することを目的としている。
  論文  参考訳（メタデータ） (2023-12-22T05:59:00Z)
• In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
  In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
  論文  参考訳（メタデータ） (2023-07-13T17:59:21Z)
• GLIMMER: generalized late-interaction memory reranker [29.434777627686692]
  メモリ拡張は、外部情報を言語モデルに組み込むための強力なアプローチである。 LUMENはメモリを部分的にプリコンプリートし、より小さなライブエンコーダでメモリ表現を更新する。 GLIMMERは,1) メモリ上に浅い再ランカを適用して,高速で検索品質を劇的に向上させることにより,強力なメモリ表現への自由アクセスを活用できる。
  論文  参考訳（メタデータ） (2023-06-17T01:54:25Z)
• Augmenting Language Models with Long-Term Memory [142.04940250657637]
  既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。 本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-12T15:13:39Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。