論文の概要: TinyCeNN-LM: Quality-Gated Conversion of Pretrained Attention with CeNN-Inspired Cellular-Recurrent Layers
- arxiv url: http://arxiv.org/abs/2609.21139v1
- Date: Thu, 17 Sep 2026 22:54:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.792731
- Title: TinyCeNN-LM: Quality-Gated Conversion of Pretrained Attention with CeNN-Inspired Cellular-Recurrent Layers
- Title（参考訳）: TinyCeNN-LM:CeNN誘導セルリカレント層による事前注意の高品質変換
- Abstract要約: TinyCeNN-LMは、訓練後変換フレームワークである。
メモリ統合、メモリフュージョン、PDelta3-GDN2-CLVR+Local32の3つの実装が研究されている。
結果は、普遍的な注意の置き換えやスピードアップよりも、保守的で品質の高い構造変換をサポートする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Replacing attention in a pretrained language model is a compatibility problem: a plausible substitute may alter representations expected by later layers. TinyCeNN-LM introduces a \emph{quality-gated post-training conversion} framework using CeNN-inspired cellular-recurrent layers with bounded local processing, compact recurrent memory, routing, fusion, and accept-or-rollback validation. Three implementations are studied: Integrated Memory, MemoryFusion, and PDelta3-GDN2-CLVR+Local32. Strict PDelta3 conversion accepts a layer only when representation and NLL criteria pass fixed thresholds. On SmolLM2-135M, layers 0-2 are accepted with cumulative $Δ\mathrm{NLL}=+0.01209$, while layer 3 is rejected despite acceptable NLL because representation fidelity fails. On Qwen3.5-0.8B, full-attention layers 3, 7, and 11 are accepted with final $Δ\mathrm{NLL}=+0.02073$. Integrated Memory keeps perplexity within $-0.07\%$ to $+0.93\%$ while reducing total cache by up to $6.01\%$. A sampled 200-item downstream sanity check gives $28.5\%$--$32.0\%$ overall accuracy for converted Qwen releases. The results support conservative, quality-gated structural conversion rather than universal attention replacement or speedup.
- Abstract（参考訳）: 事前訓練された言語モデルで注意を引いたのは互換性の問題である。
TinyCeNN-LMは、CeNNにインスパイアされたローカル処理、コンパクトなリカレントメモリ、ルーティング、フュージョン、アクセプションまたはロールバックバリデーションを備えたセルリカレント層を使用した、‘emph{quality-gated post-training conversion’フレームワークを導入した。
メモリ統合、メモリフュージョン、PDelta3-GDN2-CLVR+Local32の3つの実装が研究されている。
Strict PDelta3変換は、表現とNLL基準が一定のしきい値を超える場合にのみ、層を受理する。
SmolLM2-135Mでは、0-2層は累積$Δ\mathrm{NLL}=+0.01209$で受理されるが、表現の忠実さが失敗するため、許容されるNLLにもかかわらず3層は拒否される。
Qwen3.5-0.8Bでは、フルアテンション層3、7、11が最終$Δ\mathrm{NLL}=+0.02073$で受け入れられる。
統合メモリは、複雑さを$-0.07\%$から$+0.93\%$に保ち、総キャッシュを最大6.01\%$に下げる。
サンプル200石の下流の衛生チェックでは、変換されたQwenリリースの全体的な精度が28.5\%$--$32.0\%$である。
結果は、普遍的な注意置換やスピードアップよりも、保守的で品質の高い構造変換をサポートする。
関連論文リスト
- SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。
我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
論文 参考訳（メタデータ） (2026-08-23T10:41:07Z) - Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment [52.910770415431244]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。
ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。
既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
論文 参考訳（メタデータ） (2026-08-14T04:46:03Z) - More Structure, Not More Capacity: Object-Centric Representations for Visuomotor Imitation Learning [54.65906330923846]
対象中心のスロット表現は、事前学習された視覚モデルに代わる構造化された代替物であることを示す。
トークンの16倍の高密度なパッチグリッドは、グローバル機能に匹敵するパフォーマンスはない。
明示的な2D空間目標とネイティブ解像度レンダリングにより、全システムは68.7$pm$4.2%まで上昇し、特権付き3Dオーラクルの上界の直ぐ下にある。
論文 参考訳（メタデータ） (2026-07-10T10:35:24Z) - Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization [58.14514930760722]
参加者が協力して大規模なニューラルネットワークを訓練し、提供する分散セットアップを検討する。
このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。
我々は、シャードモデルセットアップを利用するトレーニングおよび推論フレームワーク、Unextractable Protocol Models (UPMs)を紹介する。
論文 参考訳（メタデータ） (2026-05-22T10:24:57Z) - Cascade Token Selection for Transformer Attention Acceleration [0.0]
カスケードメカニズムは、Layer $l$からLayer $l+1$に代表セットを継承し、$(T - r) times r$ cross-Gramで検証し、少数の追加と削除で更新する。
選択ステップのコストは、層ごとに$O(T2 d)$から$O(T r d)$に低下する。
論文 参考訳（メタデータ） (2026-05-04T19:49:13Z) - Breaking the KV Cache Bottleneck: Fan Duality Model Achieves O(1) Decode Memory with Superior Associative Recall [0.0]
Fan Duality Modelは、シーケンスモデリングにおけるメモリ効率と連想リコールの間の緊張を解消する。
FDMはシーケンス処理を、長距離パターンを隠蔽状態に圧縮する波動成分と、特定のトークンを取得する粒子成分の2つのコンポーネントに分割する。
本稿では,再帰的なスキャンを凍結し,キャッシュを埋め込みと共に最適化する2段階のトレーニング戦略であるFreeze-Scanを提案する。
論文 参考訳（メタデータ） (2026-04-09T02:00:30Z) - Token Coherence: Adapting MESI Cache Protocols to Minimize Synchronization Overhead in Multi-Agent LLM Systems [0.0]
マルチエージェントLLMオーケストレーションは、エージェント、ステップ、アーティファクトサイズにおいて、単純なブロードキャストの下でO(n x S x |D|)としてスケールする。
この病理は完全状態再放送の構造的残余であり、マルチエージェント協調の固有の性質ではないと私は主張する。
私はArtifact Coherence System(ACS)を構築し、Token Coherence Theoremを証明します。
論文 参考訳（メタデータ） (2026-03-16T12:20:06Z) - Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。
我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。
我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文 参考訳（メタデータ） (2022-11-15T19:10:12Z) - Fast Walsh-Hadamard Transform and Smooth-Thresholding Based Binary
Layers in Deep Neural Networks [0.0]
本研究では,WHT(Fast Walsh-Hadamard transform)とスムーススホールディングに基づく層を提案し,深層ニューラルネットワークにおける1回1$の畳み込み層を置き換える。
これら2種類のレイヤを使用して、MobileNet-V2のボトルネック層を置き換え、ネットワークのパラメータ数をわずかに減らし、精度を低下させます。
論文 参考訳（メタデータ） (2021-04-14T19:23:36Z) - Improving Network Slimming with Nonconvex Regularization [8.017631543721684]
畳み込みニューラルネットワーク(CNN)は、様々なコンピュータビジョンタスクの強力なモデルとなるために開発された。
最先端のCNNの多くは直接デプロイすることはできない。
CNNを圧縮する簡単な方法が提案されている。
論文 参考訳（メタデータ） (2020-10-03T01:04:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。