Fugu-MT 論文翻訳(概要): MLP Memory: A Retriever-Pretrained Memory for Large Language Models

論文の概要: MLP Memory: A Retriever-Pretrained Memory for Large Language Models

arxiv url: http://arxiv.org/abs/2508.01832v2
Date: Fri, 26 Sep 2025 03:52:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-29 16:35:18.954235
Title: MLP Memory: A Retriever-Pretrained Memory for Large Language Models
Title（参考訳）: MLPメモリ:大規模言語モデルのためのRetriever-Pretrained Memory
Authors: Rubin Wei, Jiaqi Cao, Jiarui Wang, Jushi Kai, Qipeng Guo, Bowen Zhou, Zhouhan Lin,
Abstract要約: 本稿では,明示的な文書アクセスを伴わずに検索パターンを内部化するパラメトリックモジュールを提案する。我々のアーキテクチャでは、この事前学習されたメモリを単純な確率でデコーダと統合し、5つの質問応答ベンチマークで12.3%、9つの一般的なNLPタスクで5.2ポイントの絶対ゲインを達成した。本研究は,学習パターンが効果的な推論と効果的な知識アクセスのギャップをパラメトリックに埋めることを示した。
参考スコア（独自算出の注目度）: 39.890098399493986
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Modern approaches to enhancing Large Language Models' factual accuracy and knowledge utilization face a fundamental trade-off: non-parametric retrieval-augmented generation (RAG) provides flexible access to external knowledge but suffers from high inference latency and shallow integration, while parametric fine-tuning methods like LoRA risk catastrophic forgetting and degraded general capabilities. In this work, we propose MLP Memory, a lightweight parametric module that learns to internalize retrieval patterns without explicit document access. By pretraining an MLP to imitate a $k$NN retriever's behavior on the entire pretraining dataset, we create a differentiable memory component that captures the benefits of retrieval-based knowledge access in a fully parametric form. Our architecture integrates this pretrained MLP Memory with Transformer decoders through simple probability interpolation, achieving 12.3\% relative improvement on five question-answering benchmarks and 5.2 points absolute gain across nine general NLP tasks, while reducing hallucinations by up to 10 points on HaluEval. Moreover, MLP Memory delivers 2.5$\times$ faster inference than RAG with superior accuracy. Our findings show that learning retrieval patterns parametrically bridges the gap between efficient inference and effective knowledge access, offering a practical alternative to both RAG and fine-tuning approaches.
Abstract（参考訳）: 非パラメトリック検索拡張生成(RAG)は、外部知識への柔軟なアクセスを提供するが、高い推論遅延と浅い統合に悩まされている。本研究では,文書を明示的にアクセスすることなく検索パターンを内部化する軽量パラメトリックモジュール MLP Memory を提案する。プリトレーニングデータセット全体に$k$NNレトリバーの動作を模倣するためにMLPを事前訓練することにより、完全にパラメトリックな形式で検索ベースの知識アクセスの利点を捉えた差別化可能なメモリコンポーネントを作成する。我々のアーキテクチャは、単純な確率補間により、この事前訓練されたMLPメモリとトランスフォーマーデコーダを統合し、5つの質問応答ベンチマークで12.3倍、9つの一般的なNLPタスクで5.2ポイントの絶対ゲインを達成するとともに、HluEval上での幻覚を最大10ポイント削減する。さらに、MLPメモリはRAGよりも高い精度で2.5$\times$高速な推論を提供する。その結果,学習パターンは効率的な推論と効果的な知識アクセスのギャップをパラメトリックに埋め、RAGと微調整の両方のアプローチに代わる実用的な代替手段を提供することがわかった。

関連論文リスト

Should We Still Pretrain Encoders with Masked Language Modeling? [27.19054714197245]
最近の証拠は、コーサル言語モデリング(CLM)で事前訓練されたデコーダモデルをエンコーダとして効果的に再利用できることを示唆している。 2億1000万から10億のパラメータの合計38モデルをトレーニングし、15,000以上の微調整と評価を実行します。高いレベルのCLMを用いたトレーニングでは,テキスト表現タスク間で性能が向上する一方で,CLM学習モデルの方がデータ効率が良く,微調整安定性が向上していることがわかった。
論文参考訳（メタデータ） (2025-07-01T17:45:48Z)
DRAMA: Diverse Augmentation from Large Language Models to Smaller Dense Retrievers [86.54316283425001]
大規模言語モデル(LLM)は、高密度レトリバーとして微調整されている間、強い有効性と堅牢性を示している。 LLMは効率が良いが、教師付き微調整データで効率的に一般化できないことが多い。我々は、LLMを活用してより小さな一般化可能な高密度レトリバーを訓練するトレーニングフレームワークであるDRAMAを紹介する。
論文参考訳（メタデータ） (2025-02-25T18:59:07Z)
Democratizing AI: Open-source Scalable LLM Training on GPU-based Supercomputers [65.35142508909892]
AxoNNと呼ばれる,スケーラブルでポータブルなオープンソースフレームワークで実装された新しい4次元ハイブリッド並列アルゴリズムを提案する。本稿では,Frontier 上で AxoNN を用いて405ビリオンパラメータ LLM の微調整を行う。
論文参考訳（メタデータ） (2025-02-12T06:05:52Z)
Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
論文参考訳（メタデータ） (2025-02-03T18:35:42Z)
MEMO: Fine-grained Tensor Management For Ultra-long Context LLM Training [24.066283519769968]
大規模言語モデル(LLM)は、よりクリエイティブなアプリケーションを促進するために、拡張コンテキスト長を使用して訓練されている。本稿では,メモリ管理を微粒化するための新しいフレームワークであるMEMOを提案する。 MeMOはMegatron-LMやDeepSpeedと比べて平均1.97倍と1.80倍のMFUを達成している。
論文参考訳（メタデータ） (2024-07-16T18:59:49Z)
SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
$\text{Memory}^3$: Language Modeling with Explicit Memory [22.572376536612015]
我々は、大言語モデル(LLM)に明示的なメモリ、モデルパラメータよりも安いメモリフォーマット、テキスト検索拡張生成(RAG)を装備する。予備的な概念実証として, 2.4B LLM をゼロからトレーニングし, より大きな LLM モデルやRAG モデルよりも優れた性能を実現する。本稿では,知識の外部化を支援するメモリ回路理論を導入し,記憶をトラクタブルにするメモリスペーサー化機構を含む新しい手法を提案する。
論文参考訳（メタデータ） (2024-07-01T11:07:23Z)
Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
論文参考訳（メタデータ） (2024-06-28T17:16:03Z)
DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models [79.01926242857613]
大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
論文参考訳（メタデータ） (2023-09-07T17:45:31Z)
In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
論文参考訳（メタデータ） (2023-07-13T17:59:21Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。