論文の概要: TextNCA: Neural Cellular Automata for Language Modeling via Hierarchical Local Attention
- arxiv url: http://arxiv.org/abs/2608.02050v1
- Date: Mon, 03 Aug 2026 10:47:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.492662
- Title: TextNCA: Neural Cellular Automata for Language Modeling via Hierarchical Local Attention
- Title（参考訳）: TextNCA:階層的局所的注意による言語モデリングのためのニューラルセルオートマタ
- Abstract要約: ニューラルセルラーオートマトンプリミティブの1次元因果的ウィンドウアテンション実現であるtextscTextNCA を定義する。
WikiText-103では、約30万のパラメータと60kのトレーニングステップで、ウィンドウが8, 32, 128$、およびT_s$の3つのステージをカスケードする階層的なバリエーションについて検討する。
- 参考スコア（独自算出の注目度）: 45.024660338672675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can a strictly local, iterated, weight-shared computation primitive support language modelling, and which of those three properties actually drives the model's behaviour? We define \textsc{TextNCA}, a 1D causal windowed-attention realisation of the Neural Cellular Automaton primitive, and study a hierarchical variant that cascades three stages with windows $w \in \{8, 32, 128\}$ and $T_s$ shared-weight iterations per stage, all on WikiText-103 at roughly 30M parameters and 60k training steps. The model does not match a parameter-matched Transformer at this scale (Hier-TextNCA $60.3$ vs.\ Transformer-6L $52.8$ and Transformer-12L $44.7$ PPL), so we treat it as an analytical probe rather than a proposed alternative. The behaviour we observe is largely explained by the staged narrow-to-wide schedule: a non-iterating sliding-window Transformer that reuses the same schedule comes within $+4.1$ PPL of the iterated model, while reversing, flattening, or breaking the monotonic ordering of the schedule costs between $+16.7$ and $+70.8$ PPL. Iteration adds a smaller bounded benefit on top of the schedule, with a clear optimum at $T_s{=}4$ and a U-shaped degradation beyond it. The GRU gate and learned per-step embeddings are required for that benefit to appear, and training with random $T_s$ yields an inference-time iteration-count knob at the cost of substantially higher absolute PPL. We position the work as a controlled reading of which parts of NCA-style computation carry the weight in language modelling.
- Abstract（参考訳）: 厳密な局所的、反復的、重み付けされた計算プリミティブサポート言語モデリングは可能か。
ニューラルセルラーオートマトンプリミティブの1D因果的ウィンドウ付きアテンション実現である \textsc{TextNCA} を定義し、約30Mパラメータと60kトレーニングステップで、ウィンドウ$w \in \{8, 32, 128\}$および$T_s$共有重み付きイテレーションを3つのステージでケーサーする階層的変異を研究した。
このモデルはパラメータマッチングトランスフォーマーとこのスケールでは一致しない(Hier-TextNCA 60.3$ vs. )。
\ Transformer-6L 5,2.8$および Transformer-12L 4,4.7$ PPL) なので、提案された代替案ではなく分析プローブとして扱う。
同じスケジュールを再利用する非定位スライディングウィンドウトランスフォーマーは、反復モデルの+4.1ドル PPL以内で、逆転、フラット化、あるいは単調な順序付けを+16.7ドルから$+70.8$ PPLで行う。
イテレーションはスケジュールの上により小さな境界付き利益をもたらし、明確な最適値は$T_s{=}4$で、それを超えるU字型の分解である。
GRUゲートと学習したステップごとの埋め込みは、その利点を示すために必要であり、ランダムな$T_s$でトレーニングすると、かなり高い絶対的なPPLのコストで、推論時反復数ノブが得られる。
本研究は,NAA方式の計算が言語モデリングにおける重みを担っている制御読解法として位置づける。
関連論文リスト
- REFACTOR-VLA: Unsupervised Library Learning of Typed Motor Programs [0.0]
ほとんどの視覚言語アクション(VLA)モデルはモノリシックである。
本稿では、再利用可能なスキルを学習するためのウェイク/スリープモデルシステムであるREFACTOR-VLAを紹介する。
論文 参考訳（メタデータ） (2026-09-01T13:19:05Z) - Toward Compiler World Models: Learning Latent Dynamics for Efficient Tensor Program Search [9.85275171877854]
本稿では,プログラム状態に対する動作条件付き潜在ダイナミクスとしての評価をスケジュールする評価器を提案する。
提案手法は,GPUで1.37$times$,CPUで1.54$times$,Ansorで64-trial budgetで1.37$times$の改善を行う。
また、PyTorch/PyTorch-opt(cuDNN)に対するフルモデル推論を4.61$times$/3.67$times$ometric meanで高速化する。
論文 参考訳（メタデータ） (2026-06-08T10:17:27Z) - Weight Decay Regimes in Grokking Transformers: Cheap Online Diagnostics [0.0]
モジュラー演算で訓練された変換器は、記憶、一般化、崩壊の急激な遷移を示す。
重み劣化はこれらの状態に対するスカラーな経験的制御パラメータとして機能することを示す。
トレーニングのダイナミクスをトラックするオンライン診断,平均的注意頭コサイン類似性とエントロピー標準偏差を導入する。
論文 参考訳（メタデータ） (2026-05-19T19:48:40Z) - Projection-Free Transformers via Gaussian Kernel Attention [0.4899818550820574]
変換器における自己注意は、通常$mathrmsoftmax(QKtop/sqrtd)V$として実装され、$Q=XW_Q$, $K=XW_K$, $V=XW_V$は入力された$X$の線形射影を学習する。
ドット積注意のドロップイン置換である textbfGaussian Kernel Attention (GKA) を導入する。
論文 参考訳（メタデータ） (2026-05-04T01:57:59Z) - Spectral Edge Dynamics of Training Trajectories: Signal--Noise Geometry Across Scales [0.0]
コンヒーレントな方向のみにおいてトランスフォーマー訓練軌道が発展することを示す。
共同作業では、同じスペクトル幾何学がグラッキングの早期警戒信号を提供する。
論文 参考訳（メタデータ） (2026-03-14T04:46:05Z) - Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。
我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。
この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
論文 参考訳（メタデータ） (2025-10-17T02:58:35Z) - Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。
任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。
CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
論文 参考訳（メタデータ） (2025-10-13T21:07:05Z) - Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。
しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。
対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
論文 参考訳（メタデータ） (2024-03-13T13:54:00Z) - TCNCA: Temporal Convolution Network with Chunked Attention for Scalable
Sequence Processing [52.64837396100988]
MEGAは最近のトランスフォーマーベースのアーキテクチャで、線形リカレント演算子を使用し、並列計算はFFTに基づいて、$O(LlogL)$で、$L$はシーケンス長である。
線形再帰を特別な時間的畳み込みネットワークに置き換えることで、より浅いネットワークでより大きい受容場を許容し、計算複雑性を$O(L)$に減らし、それらのアプローチを構築する。
我々は,EnWik8言語モデリングにおけるTCNCA,LRA(Long-range-arena)シーケンス分類,および合成推論ベンチマーク連想リコールの評価を行った。
論文 参考訳（メタデータ） (2023-12-09T16:12:25Z) - Provably Efficient Reinforcement Learning with Linear Function
Approximation Under Adaptivity Constraints [94.76881135901753]
一般的な限定的適応モデルとして,バッチ学習モデルとレアポリシースイッチモデルがある。
提案したLSVI-UCB-Batchアルゴリズムは,$tilde O(sqrtd3H3T + dHT/B)$ regretを実現する。
まれなポリシスイッチモデルでは,提案されたLSVI-UCB-RareSwitchアルゴリズムは,$tilde O(sqrtd3H3T[1+T/(dH)]dH/B)$の後悔を享受する。
論文 参考訳（メタデータ） (2021-01-06T18:56:07Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳（メタデータ） (2020-09-21T02:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。