論文の概要: MeMo: Memory as a Model

• arxiv url: http://arxiv.org/abs/2605.15156v2
• Date: Wed, 20 May 2026 17:53:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 14:55:44.19612
• Title: MeMo: Memory as a Model
• Title（参考訳）: MeMo: モデルとしてのメモリ
• Authors: Ryan Wei Heng Quek, Sanghyuk Lee, Alfred Wei Lun Leong, Arun Verma, Alok Prakash, Nancy F. Chen, Bryan Kian Hsiang Low, Daniela Rus, Armando Solar-Lezama,
• Abstract要約: 大規模言語モデル(LLM)は、幅広いタスクにわたって強力なパフォーマンスを達成するが、その後の更新まで事前訓練後に凍結される。 MeMoは、LLMパラメータを変更せずに、新しい知識を専用のメモリモデルにエンコードするモジュラーフレームワークである。 MeMoは、さまざまな設定にまたがる既存のメソッドと比較して、強力なパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 96.54179792557863
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) achieve strong performance across a wide range of tasks, but remain frozen after pretraining until subsequent updates. Many real-world applications require timely, domain-specific information, motivating the need for efficient mechanisms to incorporate new knowledge. In this paper, we introduce MeMo (Memory as a Model), a modular framework that encodes new knowledge into a dedicated memory model while keeping the LLM parameters unchanged. Compared to existing methods, MeMo offers several advantages: (a) it captures complex cross-document relationships, (b) it is robust to retrieval noise, (c) it avoids catastrophic forgetting in the LLM, (d) it does not require access to the LLM's weights or output logits, enabling plug-and-play integration with both open and proprietary closed-source LLMs, and (e) its retrieval cost is independent of corpus size at inference time. Our experimental results on three benchmarks, BrowseComp-Plus, NarrativeQA, and MuSiQue, show that MeMo achieves strong performance compared to existing methods across diverse settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いタスクにわたって強力なパフォーマンスを達成するが、その後の更新まで事前訓練後に凍結される。 多くの現実世界のアプリケーションは、タイムリーでドメイン固有の情報を必要とし、新しい知識を取り入れるための効率的なメカニズムの必要性を動機付けている。 本稿では,LLMパラメータを一定に保ちながら,新たな知識を専用メモリモデルにエンコードするモジュール型フレームワークであるMeMo(Memory as a Model)を紹介する。 既存のメソッドと比較して、MeMoにはいくつかの利点がある。 a)複雑な文書間の関係を捉えます。 (b)ノイズの検索には頑丈である。 (c)LLMにおける破滅的な忘れを避けること。 (d) LLMの重みや出力ロジットへのアクセスは不要で、オープンおよびプロプライエタリなクローズドソースLLMとのプラグアンドプレイ統合を可能にする。 (e)検索コストは推論時のコーパスサイズとは無関係である。 BrowseComp-Plus、NarrativeQA、MuSiQueの3つのベンチマークによる実験結果から、MeMoは様々な設定にまたがる既存のメソッドと比較して高いパフォーマンスを実現していることが示された。

関連論文リスト

• MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning [78.46301394559903]
  大きな言語モデル(LLM)は、長期化タスクにますます使われています。 現在の手法はコストと精度のトレードオフに直面している。 MemSifterは、メモリ検索プロセスを小さなプロキシモデルにオフロードする新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T02:57:38Z)
• InternLM-XComposer2.5-OmniLive: A Comprehensive Multimodal System for Long-term Streaming Video and Audio Interactions [104.90258030688256]
  本研究は,ストリーミング映像とオーディオ入力とのリアルタイムインタラクションを実現するために,非絡み合いのストリーミング知覚,推論,メモリ機構を導入している。 このプロジェクトは人間のような認知をシミュレートし、多モーダルな大規模言語モデルが時間とともに継続的かつ適応的なサービスを提供できるようにする。
  論文  参考訳（メタデータ） (2024-12-12T18:58:30Z)
• CMT: A Memory Compression Method for Continual Knowledge Learning of Large Language Models [22.93893181000535]
  大規模言語モデル(LLM)は、データ、タスク、ユーザの好みの継続的な変更に適応する必要がある。 本稿では,これらの課題に対処するため,圧縮記憶訓練(CMT)法を提案する。 CMTは、メモリバンクに格納される新しい文書から情報を圧縮して抽出する。 これらの新しいドキュメントに関する問い合わせに答えると、モデルはこれらのドキュメントの記憶をメモリバンクから集約し、ユーザーの質問に答える。
  論文  参考訳（メタデータ） (2024-12-10T10:35:19Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。