論文の概要: LooM: Loop-Invariant Memory for Causal Encoder-Decoder Language Models
- arxiv url: http://arxiv.org/abs/2611.06835v1
- Date: Wed, 04 Nov 2026 17:52:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.223001
- Title: LooM: Loop-Invariant Memory for Causal Encoder-Decoder Language Models
- Title(参考訳): LooM: 因果エンコーダ-デコーダ言語モデルのためのループ不変メモリ
- Abstract要約: Looped Transformerは共有レイヤを再実行することで、効果的な深さを向上する。
メモリはループ数で増加し、計算はブロック全体のステップでのみ調整され、トレーニング後にループ数を変更するのは難しい。
本稿では,LooMを提案する。
- 参考スコア(独自算出の注目度): 51.731535119332314
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Looped Transformers increase effective depth by re-executing shared layers, but three limitations hinder their adoption: memory grows with the loop count, compute can only be adjusted in whole-block steps, and the loop count is hard to change after training. We propose LooM (Loop-invariant Memory), which addresses each in turn. In a causal encoder-decoder (CED), LooM loops only the decoder layers after the first, which read a global memory written once per token, and each of them publishes the key-value (KV) entry for a token only on its first visit, so the cache does not grow with the loop count. These layers loop independently, providing every budget from 3 to 21 layer executions per token, and one model trained on randomly sampled budgets covers all of them without a router. With enough loops, LooM outperforms a single-pass baseline trained on the same data on language modeling, zero-shot accuracy and long-context perplexity, while using the same cache size. Our analysis further shows that the training budget distribution decides what extra depth buys. These results suggest that a CED is a natural place to loop: memory is written once, and depth becomes a budget chosen at deployment.
- Abstract(参考訳): ループ変換器は共有レイヤを再実行することによって効率の深さを増大させるが、その採用を妨げる3つの制限がある。
本稿では,LooM (Loop-invariant Memory) を提案する。
因果エンコーダデコーダ(CED)では、LooMループは、トークン毎に1回書き込まれたグローバルメモリを読み込むデコーダ層のみをループし、それぞれが最初の訪問時にのみトークンのキー値(KV)エントリを発行するので、ループ数とともにキャッシュは成長しない。
これらのレイヤは独立してループし、トークン毎に3層から21層までのすべての予算を提供し、ランダムにサンプリングされた予算でトレーニングされた1つのモデルはルータなしでそれらを全てカバーする。
十分なループで、LooMは言語モデリング、ゼロショット精度、長文のパープレクシリティでトレーニングされた単一パスベースラインを、同じキャッシュサイズを使用しながら上回る。
我々の分析は、トレーニング予算分布が、余分な深みの購入を決定することをさらに示している。
これらの結果は、CEDがループする自然な場所であることを示している。メモリは一度書き込まれ、深さはデプロイ時に選択される予算になる。
関連論文リスト
- LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers [9.188178438603975]
ループ変換器は、言語モデリングのための標準変換器に代わるパラメータ効率の良い代替品である。
ループ変換器のKVキャッシュベクトル量子化手法であるLoopVQを提案する。
0.5ビットで、LoopVQは標準LLMの既存のKVキャッシュベクトル量子化手法を、一般的な長鎖の推論、長いコンテキストの検索タスクで上回る。
論文 参考訳(メタデータ) (2026-11-03T18:16:29Z) - HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。
既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。
非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
論文 参考訳(メタデータ) (2026-09-01T18:02:02Z) - Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching [33.509836193149795]
ループ言語モデル(LM)の主な約束は、深さ適応型計算である。
個別のループキューの粒度でスケジュールする連続深さ(CDB)を導入する。
Ouro 1.4B と Huginn 3.5B では、CDB は理論上の最大速度の 99% を達成できる。
論文 参考訳(メタデータ) (2026-08-10T11:20:14Z) - Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models [8.430043498727617]
メモリ効率のよいループ変換器(MELT)は、メモリ消費から奥行きを分離する新しいアーキテクチャである。
この結果から,MELTはLoopLM性能を犠牲にすることなく,定数メモリ反復推論を実現することを示す。
論文 参考訳(メタデータ) (2026-05-08T13:25:27Z) - Adaptive Loops and Memory in Transformers: Think Harder or Know More? [2.141762982579701]
思考の連鎖は言語モデルにおける推論を可能にするが、中間段階の明示的な言語化を必要とする。
ループ変換器は、隠された状態内の表現を反復的に精製する代替手段を提供する。
適応型層間ループとゲート型メモリバンクの両方を特徴とするトランスモデルについて検討する。
論文 参考訳(メタデータ) (2026-03-09T13:49:03Z) - Parallel Loop Transformer for Efficient Test-Time Computation Scaling [34.8255648599522]
大規模言語モデル(LLM)は強力だが、推論中に現実世界で使うには遅すぎるしコストもかかる。
ループ変換器は、複数の計算ステップで同じ重みを再利用することでパラメータを節約する。
ループが次々と実行され、各追加ループで推論遅延とメモリ要求が増大する。
論文 参考訳(メタデータ) (2025-10-28T15:35:50Z) - Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
underlinetextbfPositional textbfIntegrity textbfEncoding (PIE)
PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。
その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
論文 参考訳(メタデータ) (2024-07-03T14:34:03Z) - You Only Cache Once: Decoder-Decoder Architectures for Language Models [132.4064488592704]
大規模言語モデルのためのデコーダ・デコーダアーキテクチャであるYOCOを導入する。
YOCOはキーと値のペアを一度だけキャッシュする。
全体的なモデルはデコーダのみのTransformerのように振る舞うが、YOCOは一度だけキャッシュする。
論文 参考訳(メタデータ) (2024-05-08T17:57:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。