論文の概要: MoME: Mixture-of-Memory Embeddings for Context-Aware Sparse Lookup

• arxiv url: http://arxiv.org/abs/2609.15126v1
• Date: Mon, 14 Sep 2026 07:01:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.123941
• Title: MoME: Mixture-of-Memory Embeddings for Context-Aware Sparse Lookup
• Title（参考訳）: MoME: コンテキスト対応スパースルックアップのためのメモリ混合埋め込み
• Abstract要約: コンテクスト対応メモリ機構であるMixture of Memory Embeddings (MoME)を紹介する。 MoMEは、各トークンの単一のメモリ行をMスロットの混合で置き換え、隠れた状態の上の学習ゲートを使用して、各位置でどのスロットを読むかを選択する。 ナノチャット、Llama-3/MobileLLM、Qwen3バックボーンの事前トレーニング実験では、MoMEはバリュー埋め込み、ビグラム、STEMベースラインよりも改善されている。
• 参考スコア（独自算出の注目度）: 35.92693145413963
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling large language models efficiently has motivated sparse capacity mechanisms such as Mixture-of-Experts and, more recently, conditional memory: token-indexed embedding tables that augment the backbone with cheap parametric lookups. Existing memory-embedding methods retrieve via a deterministic function of the surface form, which collapses different contextual senses of the same token (e.g., python the language vs. the animal) into a single fixed entry. We introduce Mixture of Memory Embeddings (MoME), a context-aware memory mechanism that replaces each token's single memory row with a mixture of M slots and uses a learned gate over the hidden state to choose which slots to read at each position. In controlled pretraining experiments across nanochat, Llama-3/MobileLLM, and Qwen3 backbones, MoME improves over Value Embedding, Bigram, and STEM baselines in iso-parameter and iso-training-FLOP settings, shows a more promising memory-size scaling trend at sub-billion scale, and remains efficient in training and inference. Qualitative routing analyses on polysemous tokens further suggest that the learned mixture exhibits a degree of semantic interpretability, dispatching the same surface token to distinct memory slots under different senses.
• Abstract（参考訳）: 大きな言語モデルを効率的にスケールすることは、Mixture-of-Expertsや、より最近の条件記憶のようなスパースキャパシティメカニズムを動機付けている。 既存のメモリ埋め込み法は、同じトークン(例えば、言語対動物に対するピソン)の異なる文脈感覚を単一の固定されたエントリに分解する表面形状の決定論的関数を介して検索する。 我々は,各トークンの単一メモリ行をMスロットの混合で置き換えるコンテキスト対応メモリ機構であるMixture of Memory Embeddings (MoME)を導入し,隠れ状態上の学習ゲートを用いて各位置にどのスロットを読み込むかを選択する。 ナノチャット,Llama-3/MobileLLM,Qwen3バックボーン間の事前トレーニングの制御実験において,MoMEはIso-parameterおよびIso-training-FLOP設定におけるValue Embedding,Bigram,STEMベースラインを改良し,サブビリオンスケールでのメモリサイズスケーリングトレンドをより有望なものとし,トレーニングや推論の効率を保っている。 多文トークンの定性的なルーティング解析により、学習された混合物は意味論的解釈の程度を示し、異なる感覚下で同じ表面トークンを異なるメモリスロットにディスパッチすることを示唆している。

関連論文リスト

• Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
  マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。 本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
  論文  参考訳（メタデータ） (2026-08-24T13:56:01Z)
• BitNet Text Embeddings [104.29781473344813]
  BITEMBEDは,符号化効率とベクトル記憶を両立させるLLMベースのテキスト埋め込みのための極低ビットフレームワークである。 BITEMBEDは、トレーニング済みのLLMバックボーンを3次重み、量子化アクティベーション、軽量な正規化改善を備えたBitNetスタイルの埋め込みエンコーダに変換する。 Qwen3-0.6B と Gemma703-2M を用いた MMTEB (eng) の実験では、BITEMBED は完全精度の教師埋め込み器とほぼ同等であることが示された。
  論文  参考訳（メタデータ） (2026-06-24T10:37:01Z)
• Cognitive Memory in Large Language Models [8.059261857307881]
  本稿では,Large Language Models (LLMs) における記憶機構について検討し,文脈に富む応答の重要性,幻覚の減少,効率の向上などを強調した。 メモリは、インプットプロンプト、短期記憶処理の即時コンテキスト、外部データベースや構造を介して実装された長期記憶に対応して、インプットプロンプト、短期記憶、長期記憶に分類する。
  論文  参考訳（メタデータ） (2025-04-03T09:58:19Z)
• Wormhole Memory: A Rubik's Cube for Cross-Dialogue Retrieval [4.586907225774023]
  本研究では,異なる対話間で任意に検索可能なルービックキューブとしてメモリを実現するワームホールメモリモジュール(WMM)を提案する。 実験結果から,WMMは対話間のメモリ取得能力と定量的指標の安定性を示した。
  論文  参考訳（メタデータ） (2025-01-24T10:49:45Z)
• Towards A Unified View of Sparse Feed-Forward Network in Pretraining Large Language Model [58.9100867327305]
  大規模かつスパースなフィードフォワード層(S-FFN)は、大きな言語モデルをテキスト処理するためにTransformersモデルのサイズをスケールアップするのに有効であることが証明されている。 我々は,S-FFNの2つの主要な設計選択,すなわち,メモリブロックのサイズとメモリブロックの選択方法について分析した。 言語モデルの事前学習において,より単純な選択方法である textbftextttAvg-K が得られた。
  論文  参考訳（メタデータ） (2023-05-23T12:28:37Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• MCML: A Novel Memory-based Contrastive Meta-Learning Method for Few Shot Slot Tagging [17.205431506768125]
  textbfMemory ベースの textbfContrastive textbfMeta-textbfLearning (別名 MCML) 法を提案する。 実験の結果、MCMLはSNIPSとNERの両方のデータセット上で、最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-26T08:02:21Z)
• Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems [27.419109620575313]
  ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。 本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。 性能を維持しながらメモリフットプリントの大幅な削減を示す。
  論文  参考訳（メタデータ） (2021-02-24T19:55:49Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。