論文の概要: Does Engram Do Memory Retrieval in Autoregressive Image Generation?
- arxiv url: http://arxiv.org/abs/2605.13179v1
- Date: Wed, 13 May 2026 08:40:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:27.920161
- Title: Does Engram Do Memory Retrieval in Autoregressive Image Generation?
- Title（参考訳）: Engramは自己回帰画像生成においてメモリ検索を行うか?
- Authors: Jinghao Wang, Qiyuan He, Chunbin Gu, Pheng-Ann Heng,
- Abstract要約: 本研究では,Engramモジュールを2次元空間的$n$-gramハッシュ,ゲート融合,KV-cache互換インクリメンタル推論で視覚に適応させる。
ゲート・クランプ・スイープは、エングラムの経路を完全に無効にすることは破滅的であることを示している。
ドナープローブ実験により、一致した、逆数的な、あるいはランダムな同一クラスの例にハッシュ入力を交換すると、統計的に区別不能な次トーケン分布が生じることが示された。
- 参考スコア（独自算出の注目度）: 50.31813662801864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Engram module -- a hash-keyed, O(1) associative memory injected into Transformer layers -- was recently shown to improve large language model pretraining, with the appealing interpretation that it provides a content-addressed shortcut to recurring local token patterns. We ask whether this interpretation transfers to autoregressive (AR) image generation, or whether the observed gains, if any, come from a different mechanism. We adapt the Engram module to vision with 2D spatial $n$-gram hashing, gated fusion, and KV-cache-compatible incremental inference, and inject it into a class-conditional AR generator trained on ImageNet 256x256. Across a sweep of backbone-to-memory budget ratios $ρ{\in}[0.17, 0.90]$, every Engram-augmented variant trails the pure AR baseline in FID, indicating that the module saves backbone FLOPs but does not, by itself, improve sample quality. We then probe how the module is used. A gate-clamp sweep shows that disabling the Engram pathway entirely is catastrophic, yet a tiny constant gate (g=0.10) matches or beats the learned gate -- inconsistent with a heavily content-addressed recall mechanism. A donor-probe experiment shows that swapping the hash inputs for matched, adversarial, or random same-class exemplars produces statistically indistinguishable next-token distributions, while collapsing or randomising the table degrades them by two to three orders of magnitude. Finally, training a model from scratch with the entire memory table frozen to $\mathcal{N}(0, 1)$ noise costs only $Δ\text{FID}{=}0.10$ and actually raises Inception Score. Together, these findings indicate that the Engram in AR image generation behaves not as a content-addressed retriever but as a gated architectural side-pathway: a hash-keyed residual stream whose benefit is dominated by the pathway itself, with the learned table contributing only a small distributional refinement.
- Abstract（参考訳）: Engramモジュール - ハッシュキー付き、O(1)連想メモリをトランスフォーマー層に注入することで、大規模な言語モデルの事前トレーニングを改善することが最近示されている。
この解釈が自己回帰(AR)画像生成に転送されるのか、あるいは観察された利得が、もしあるならば、別のメカニズムから得られるのかを問う。
我々は、Engramモジュールを2D空間の$n$-gramハッシュ、ゲート融合、KVキャッシュ互換インクリメンタル推論で視覚に適応させ、ImageNet 256x256でトレーニングされたクラス条件ARジェネレータに注入する。
バックボーンからメモリへの予算比率は$ρ{\in}[0.17, 0.90]$で、すべてのEngram拡張された変種はFIDの純粋なARベースラインを辿り、モジュールがバックボーンFLOPを節約するが、それ自体はサンプル品質を向上しないことを示している。
次に、モジュールの使い方を調査します。
ゲート・クランプ・スイープは、エングラム経路の無効化は完全に破滅的だが、小さな定門(g=0.10)が学習したゲートと一致または打ち負かしていることを示している。
ドナープローブ実験により、一致、逆数、ランダムな同一クラスの例にハッシュ入力を交換すると統計的に区別不能な次トーケン分布が生成され、テーブルの崩壊またはランダム化は2～3桁のスケールで分解されることが示された。
最後に、モデルをスクラッチからトレーニングし、メモリテーブル全体を凍結して$\mathcal{N}(0, 1)$ノイズコストは$Δ\text{FID}{=}0.10$に過ぎず、実際にInception Scoreを上昇させる。
これらの結果から,AR画像生成におけるEngramは,コンテンツ適応型検索システムとしてではなく,経路自体が有利なハッシュキー残差ストリームであるゲート型アーキテクチャサイドパスとして振る舞うことが示唆された。
関連論文リスト
- Taming the Entropy Cliff: Variable Codebook Size Quantization for Autoregressive Visual Generation [21.427403915969872]
トレーニングセットのパーポジション条件エントロピーは、数位置の後に条件分布が本質的に決定論的になるように、シーケンスに沿って急速に減衰する。
これを解決するために、可変コードブックサイズ量子化(VCQ)を提案し、そこでは、コードブックサイズ$K_t$がシーケンスに沿って単調に成長する。
バニラ自己回帰変換器と標準的な次世代予測により、VCQのベースバージョンはImageNet上でgFID w/oGを27.98から14.80に削減する。
論文 参考訳（メタデータ） (2026-05-07T13:13:30Z) - Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models [42.816060150754645]
我々は,O(1)ルックアップのための古典的な$N$-gram埋め込みを近代化するモジュールであるEngramを介してインスタンス化した,相補的空間軸として条件記憶を導入する。
我々はEngramを27Bパラメータに拡張し、厳密なアイソパラメータとアイソFLOPs MoEベースラインよりも優れた性能を実現する。
我々は,次世代スパースモデルにおいて,条件記憶を必要不可欠なモデリングプリミティブとして想定する。
論文 参考訳（メタデータ） (2026-01-12T09:54:49Z) - REAR: Rethinking Visual Autoregressive Models via Generator-Tokenizer Consistency Regularization [130.46612643194973]
reARはトークン単位の正規化目標を導入する単純なトレーニング戦略です。
ImageNetでは、gFIDを3.02から1.86に削減し、標準化ベースのトークンーザを使用してISを316.9に改善している。
高度なトークン化器に適用すると、177Mパラメータしか持たない1.42のgFIDが達成され、その性能はより大きな最先端拡散モデル(675M)と一致する。
論文 参考訳（メタデータ） (2025-10-06T02:48:13Z) - Token-Shuffle: Towards High-Resolution Image Generation with Autoregressive Models [92.18057318458528]
Token-ShuffleはTransformerにおける画像トークンの数を減らす新しい方法である。
我々の戦略は、事前訓練されたテキストエンコーダを必要とせず、MLLMが超高解像度画像合成をサポートできるようにする。
GenAIベンチマークでは、2.7Bモデルがハードプロンプトで0.77点、ARモデルLlamaGenが0.18点、拡散モデルLDMが0.15点である。
論文 参考訳（メタデータ） (2025-04-24T17:59:56Z) - Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
次世代予測は大規模言語モデル(LLM)の訓練の基本原理である
本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。
私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
論文 参考訳（メタデータ） (2025-04-18T10:46:22Z) - Beyond Next-Token: Next-X Prediction for Autoregressive Visual Generation [34.112157859384645]
自己回帰(AR)モデリングは、最先端の言語と視覚的生成モデルを支える。
伝統的に、トークン'' は最小の予測単位として扱われ、しばしば言語における離散的なシンボルまたは視覚における量子化されたパッチとして扱われる。
トークンの概念をエンティティXに拡張するフレームワークであるxARを提案する。
論文 参考訳（メタデータ） (2025-02-27T18:59:08Z) - Spot the Error: Non-autoregressive Graphic Layout Generation with
Wireframe Locator [37.65937921431886]
生成したレイアウトシーケンスから描画されたワイヤフレームイメージを入力として、誤トークンを検出する学習ベースのロケータを提案する。
オブジェクト空間における要素列の相補的モダリティとして機能し、全体的な性能に大きく貢献することを示す。
論文 参考訳（メタデータ） (2024-01-29T18:13:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。