Fugu-MT 論文翻訳(概要): Depth Memory

論文の概要: Depth Memory

arxiv url: http://arxiv.org/abs/2610.18809v1
Date: Tue, 13 Oct 2026 17:46:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-16 19:27:52.301552
Title: Depth Memory
Title（参考訳）: 深度記憶
Abstract要約: 残余接続は、付加的な累積層出力によってネットワークを介して情報を伝搬する。近年,manifold-Constrained Hyper-Connection (mHC) や Attention Residuals (AttnRes) などの代替案では,より表現力のある深度凝集機構を採用している。本研究では,層間情報を格納・検索する問題として,深度による表現の混合を考察する。
参考スコア（独自算出の注目度）: 19.403683447140214
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Residual connections propagate information through a network by additively accumulating layer outputs. Recently proposed alternatives, such as Manifold-Constrained Hyper-Connections (mHC) and Attention Residuals (AttnRes), instead use more expressive depth aggregation mechanisms that improve language modeling performance at scale. In this work, we consider the mixing of representations over depth as a problem of storing and retrieving information across layers. Formalizing this perspective, we introduce Depth Memory (DM), a unified framework that describes the standard pre-layer-norm (PreLN) transformer, mHC, and AttnRes in terms of streams that carry representations through the network. One such stream, for example, could be an explicit memory stream that is queried to enrich the input to every layer, and whose output is subsequently written back into the memory for use by later layers. For AttnRes, this memory stream is a growing cache of explicit layer representations. For mHC, it is an expanded residual stream. Building on this view, we propose Linear Depth Memory (LDM), which formulates information retrieval across depth as a regression problem solved using recursive least squares. The resulting architecture propagates three streams across depth: the standard residual stream, a linear associative memory stream, and an inverse covariance stream. For high-throughput training and inference, we propose a hardware-aware implementation of LDM that reduces peak activation memory and memory traffic. LDM consistently achieves the lowest perplexities among PreLN, mHC and AttnRes baselines at the 400M and 1.5B parameter scales, alongside competitive zero-shot accuracy.
Abstract（参考訳）: 残余接続は、付加的な累積層出力によってネットワークを介して情報を伝搬する。最近では、Manifold-Constrained Hyper-Connection (mHC) や Attention Residuals (AttnRes) などの代替案が提案されている。本研究では,層間情報を格納・検索する問題として,深度による表現の混合を考察する。この視点を定式化したDepth Memory(DM)は、ネットワークを介して表現を運ぶストリームの観点で標準プレレイヤノルム(PreLN)トランスフォーマー、mHC、AttnResを記述する統一フレームワークである。例えば、そのようなストリームの1つは明示的なメモリストリームで、各レイヤへの入力を豊かにするためにクエリされ、その出力は後続のレイヤが使用するためにメモリに書き戻される。 AttnResにとって、このメモリストリームは明示的なレイヤ表現のキャッシュの増大である。 mHCの場合、それは拡張された残留流である。この観点から,線形深度メモリ(LDM)を提案し,再帰的最小二乗を用いた回帰問題として奥行き情報検索を定式化する。結果として得られたアーキテクチャは、標準残差ストリーム、線形連想メモリストリーム、逆共分散ストリームの3つのストリームを伝播する。高スループットのトレーニングと推論のために,ピークアクティベーションメモリとメモリトラフィックを削減するLCMのハードウェア対応実装を提案する。 LDMは、400Mと1.5BのパラメータスケールでのPreLN、mHC、AttnResのベースライン間で、競争力のあるゼロショット精度とともに、最も低い難易度を実現している。

関連論文リスト

The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends [51.17628561637134]
自己アテンションは、LLMにコンテキストへの細粒度でクエリ依存のアクセスを与える。本調査は, モデル内コンテクストメモリとしての開発状況を解析する。
論文参考訳（メタデータ） (2026-09-30T13:03:01Z)
Rethinking Memory as Continuously Evolving Connectivity [63.58181883607843]
既存のメモリ拡張LDMエージェントは、メモリを事前定義された表現と固定された検索パイプラインを備えた静的リポジトリとして扱う。メモリをヘテロジニアスなグラフとしてモデル化し,そのトポロジを3段階にわたって段階的に洗練する,コネクティビティ進化型メモリフレームワークであるFluxMemを提案する。 LoCoMo、Mind2Web、GAIAなど、根本的に異なる3つのベンチマークにおいて、FluxMemは一貫した最先端のパフォーマンスを実現し、複雑なエージェント環境において強力な適応と一般化を示す。
論文参考訳（メタデータ） (2026-05-27T17:35:34Z)
Attention Residuals [38.59138244826294]
PreNorm との残余接続は現代の LLM では標準的なものであるが、固定単位重み付きで全ての層出力を蓄積する。本稿では,アテンション残余(AttnRes)を提案する。
論文参考訳（メタデータ） (2026-03-16T09:32:21Z)
From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents [78.30630000529133]
本稿ではファジィトレース理論に基づくピラミッド型マルチモーダルメモリアーキテクチャMM-Memを提案する。 MM-Memメモリは階層的に感覚バッファ、エピソードストリーム、シンボリックに構造する。実験により、MM-Memがオフラインタスクとストリーミングタスクの両方で有効であることが確認された。
論文参考訳（メタデータ） (2026-03-02T05:12:45Z)
Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models [42.816060150754645]
我々は,O(1)ルックアップのための古典的な$N$-gram埋め込みを近代化するモジュールであるEngramを介してインスタンス化した,相補的空間軸として条件記憶を導入する。我々はEngramを27Bパラメータに拡張し、厳密なアイソパラメータとアイソFLOPs MoEベースラインよりも優れた性能を実現する。我々は,次世代スパースモデルにおいて,条件記憶を必要不可欠なモデリングプリミティブとして想定する。
論文参考訳（メタデータ） (2026-01-12T09:54:49Z)
MeSH: Memory-as-State-Highways for Recursive Transformers [23.995570647573484]
パラメータが少ない再帰モデルは、マッチした計算の下では非再帰的モデルよりも遅れることが多い。隠れた状態を探索することで、このパフォーマンスギャップを2つの主要なボトルネックにトレースします。メモリ管理を明示的なメモリバッファに外部化するメモリ・アズ・ステート・ハイウェイ方式を導入する。
論文参考訳（メタデータ） (2025-10-09T03:23:38Z)
Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
論文参考訳（メタデータ） (2024-01-24T03:03:17Z)
Self-Gated Memory Recurrent Network for Efficient Scalable HDR Deghosting [59.04604001936661]
本稿では,任意の長さの動的シーケンスを浮き彫りにする新しいネットワーク型HDRデゴースト法を提案する。本稿では,SGM(Self-Gated Memory)セルという新たなリカレントセルアーキテクチャを導入する。提案手法は,既存の3つの公開データセットを定量的に比較して,最先端の性能を実現する。
論文参考訳（メタデータ） (2021-12-24T12:36:33Z)
Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文参考訳（メタデータ） (2021-08-02T08:21:44Z)
MAFAT: Memory-Aware Fusing and Tiling of Neural Networks for Accelerated Edge Inference [1.7894377200944507]
機械学習ネットワークは、利用可能なメモリを容易に越えることができ、OSの過度なスワップによってレイテンシが増加する。本稿では,メモリ使用量予測器と探索アルゴリズムを組み合わせることで,最適化されたファジングとタイリングの構成を提供する。その結果、我々のアプローチはメモリの半分以下で実行でき、メモリの厳しい制約下では最大2.78の高速化を実現している。
論文参考訳（メタデータ） (2021-07-14T19:45:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。