論文の概要: The Automaton Underneath: The Additive Input Pathway Is a Parasitic Attractor for State Tracking in Householder Linear RNN

• arxiv url: http://arxiv.org/abs/2609.18966v1
• Date: Thu, 16 Jul 2026 02:52:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.582852
• Title: The Automaton Underneath: The Additive Input Pathway Is a Parasitic Attractor for State Tracking in Householder Linear RNN
• Title（参考訳）: The Automaton Underneath: The Additive Input Pathway is a parasitic Attractor for State Tracking in Householder Linear RNN
• Abstract要約: 入力依存型Housester-product transitions(DeltaNet/DeltaProduct-class)を持つ線形RNNは、ハードステートトラッキングオートマトンを確実に表現できる。 1つの項が削除された同じモデル -- 付加的なインジェクション$b_t = W_b e_t$。 b_t$の場合、モデルは長さ32に収まり、パリティ、$S_4$、$A_5$、および非解決可能な$S_5$のワード問題で分配される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear RNNs with input-dependent Householder-product transitions (DeltaNet/DeltaProduct-class) can provably represent hard state-tracking automata, yet trained models fail to length-generalize -- a gap recent work attributes to optimization, without a causal account. We give one, in a pre-registered, within-architecture causal ablation: the same model with one term deleted -- the additive input injection $b_t = W_b e_t$. With $b_t$, models fit length 32 and collapse out-of-distribution on parity, $S_4$, $A_5$, and non-solvable $S_5$ word problems (0.20 at position 512 on $S_5$). Without it -- input acting only through the orthogonal transitions -- the same architecture learns the exact automaton: median accuracy 1.00 at 16x the training length, at every width admitted by a representation law we state and test: the minimal number of Householder factors per token equals the maximal reflection length of the task's generators in the format-pinned representation (parity 1, $S_4$ 3, $A_5$ and $S_5$ 4); below it, nothing fits. The contrast with DeltaProduct's $S_4$/$A_5$ at $n_h{=}2$ (group-element classification, $SO(3)$ realization) shows the law is representation-relative: task format is a hidden variable in state-tracking benchmarks. Two pre-registered arms locate the mechanism. (i) Initialized at a verified-exact solution with $W_b{=}0$, Adam grows the additive path and pulls the model off the exact solution; $-b$ controls stay at 1.00. (ii) Our registered prediction that the fit routes through $b_t$ fired its kill criterion: all 49 fitting seeds retain in-domain fit under $W_b{:=}0$ -- and at law-minimal width, zeroing $W_b$ at inference restores exact generalization (parity 5/5, $S_5$ 5/5, $S_4$ 4/5, $A_5$ 4/5). The additive pathway is parasitic: it destabilizes, then conceals, a correctly learned automaton. All 202 runs pre-registered; all numbers regenerate from artifacts.
• Abstract（参考訳）: 入力依存のHousester-product transitions(DeltaNet/DeltaProduct-class)を持つ線形RNNは、ハードステートトラッキングオートマトンを確実に表現できるが、トレーニングされたモデルでは長さを一般化できない。 1つの項が削除された同じモデル -- 付加的なインジェクション$b_t = W_b e_t$。 b_t$の場合、モデルは長さ32に収まり、パリティ、$S_4$、$A_5$、および非解決可能な$S_5$($S_5$では0.20、$S_5$では0.20)で分配される。 入力が直交遷移のみを通して実行される -- 同じアーキテクチャは、正確なオートマトンを学習する。 トレーニング長の中央値 1.00 は、16倍のトレーニング長で、私たちが記述し、テストする表現法によって認められたすべての幅で: トークン当たりのハウスナーファクタの最小数は、フォーマットにピン付けられた表現(parity 1, $S_4$ 3, $A_5$ and $S_5$ 4)でタスクのジェネレータの最大反射長に等しい。 DeltaProduct の $S_4$/$A_5$ at $n_h{=}2$ (group-element classification, $SO(3)$ realization) とは対照的である。 登録済みの腕が2本ある。 (i)$W_b{=}0$で検証済みのソリューションで初期化され、Adamは加算経路を成長させ、正確な解からモデルを取り出す。 (i)$b_t$を通した適合経路がキル基準を起点とする我々の登録予測は、49種すべてが$W_b{:=}0$以下のドメインに収まるというものであり、法的な最小の幅では$W_b$は正確な一般化を復元する(parity 5/5, $S_5$ 5/5, $S_4$ 4/5, $A_5$ 4/5, $A_5$ 4/5)。 付加経路は寄生的であり、不安定化し、次に隠蔽し、正しく学習されたオートマトンである。 すべての202は事前登録され、すべての数字はアーティファクトから再生される。

関連論文リスト

• Thermodynamics of Learning: A Typed Four-Component Accounting of Memory, Fit, and Value [0.0]
  有限学習装置が記録したものと将来のタスクで値を保持するものは、同じ量ではないことを示す。 トレーニング側適合関数$_mathrmfit$、レコード相関ストック$J_D=I(M;D)$、更新側検索台帳$_M$、運用資本価値$V(M;T,b)$の4つのコンポーネントを分離する有限状態学習装置の型付き会計を開発する。
  論文  参考訳（メタデータ） (2026-08-13T03:52:23Z)
• Near-Optimal Dimension Lower Bounds for Single-Vector Embeddings of Maximum Inner Product Similarity [75.14269295861845]
  シングルトンクエリでは、Chamferは最大内部積類似度(MAX-IP)になる。 すべての固定$in(0,1)$に対して、定数は$A_,c_>0$である。 単位球MAX-IPマトリクスは、DNFパターンマトリクスの正確な2値アフィンイメージであり、少なくとも8ドルのギャップがある。
  論文  参考訳（メタデータ） (2026-07-22T17:27:20Z)
• A Mathematical Theory of Value: a synthesis on goal-directed agency under resource constraints [6.057587531186626]
  目的指向エージェントが生成し、破壊し、交換する価値は、情報と同じカテゴリの法的構造量であることを示す。 価格がフレームに依存していない間、価値はフレーム相対的であり、そのリソースをプールし、その知覚を融合する艦隊が天井を継承する。
  論文  参考訳（メタデータ） (2026-06-10T16:11:04Z)
• The Banach-Butterfly Invariant: Influence-Adaptive Walsh Geometry for Ternary Polynomial Threshold Functions [0.0]
  Banach-Suttermajority Conditional Factorization (BBT) BBTは、Walsh-Had0003因子化における影響変種バナッハ幾何学である。
  論文  参考訳（メタデータ） (2026-05-02T22:54:29Z)
• Block-Wise Differentiable Sinkhorn Attention: Tail-Refinement Gradients with a Gap-Aware Dustbin Bridge [0.0]
  本稿では,TPUハードウェア上での長期的コンテキストバランスによる最適輸送注意度を,停止ベース,固定深部テールリファインメントサロゲートを用いて検討する。 本稿では, 局所的代理バイアスバウンド, 後部バイアス証明書, および, 厳密な正の能動ブロックに対する射影収縮証明書を提供する。 合成マスク問題では、最適化された置換基の正確なオートディフは10〜5ドル-10〜10ドルである。
  論文  参考訳（メタデータ） (2026-04-28T19:01:11Z)
• High-accuracy sampling for diffusion models and log-concave distributions [70.90863485771405]
  本稿では,$mathrmpolylog (1/)$のステップで$$-errorを求める拡散モデルサンプリングアルゴリズムを提案する。 我々の手法は、一般的なログ凹凸分布に対する最初の$mathrmpolylog (1/)$ complexity samplerをもたらす。
  論文  参考訳（メタデータ） (2026-02-01T17:05:31Z)
• LevAttention: Time, Space, and Streaming Efficient Algorithm for Heavy Attentions [54.54897832889028]
  任意の$K$に対して、$n$とは独立に「普遍集合」$Uサブセット[n]$が存在し、任意の$Q$と任意の行$i$に対して、大きな注目スコアが$A_i,j$ in row $i$ of $A$は全て$jin U$を持つことを示す。 我々は、視覚変換器のスキームの利点を実証的に示し、トレーニング中に我々の普遍的なセットを使用する新しいモデルのトレーニング方法を示した。
  論文  参考訳（メタデータ） (2024-10-07T19:47:13Z)
• IT$^3$: Idempotent Test-Time Training [95.78053599609044]
  ディープラーニングモデルは、トレーニングデータとテストデータの間の分散シフトのために、現実世界の環境にデプロイする際に苦労することが多い。 Idempotent Test-Time Training (IT$3$) は、現在のテストインスタンスのみを使用して、分散シフトへのオンザフライ適応を可能にする新しいアプローチである。 この結果から,イデオポテンスはドメインやアーキテクチャをまたいで一般化するテスト時間適応の普遍的原理を提供すると考えられる。
  論文  参考訳（メタデータ） (2024-10-05T15:39:51Z)
• Simplifying and Understanding State Space Models with Diagonal Linear RNNs [56.33053691749856]
  本研究は、離散化ステップを解消し、バニラ対角線形RNNに基づくモデルを提案する。 概念的にはるかに単純であるにもかかわらず、$mathrmDLR$は以前提案したSSMと同じくらいのパフォーマンスを示す。 また、合成シーケンス・ツー・シーケンス・タスクのスイートによって、SSMとアテンションベースモデルの表現性も特徴付ける。
  論文  参考訳（メタデータ） (2022-12-01T18:53:06Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。