論文の概要: Finite-Horizon Fisher Memory in Two-Sided Power-Bounded Recurrent Systems
- arxiv url: http://arxiv.org/abs/2609.39800v1
- Date: Wed, 30 Sep 2026 14:13:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.87869
- Title: Finite-Horizon Fisher Memory in Two-Sided Power-Bounded Recurrent Systems
- Title(参考訳): 二次元パワーバウンドリカレントシステムにおける有限水平フィッシャーメモリ
- Abstract要約: ノイズを繰り返す記憶におけるアロケーション,アクセプション,書き込み後保持の分析を行う。
デュアルパワーのキャリアの場合、均一な1/n$のラグバウンドを導出します。
バイナリ精度はガウス予想と一致し、絶対誤差は0.002$以下の4桁以上である。
- 参考スコア(独自算出の注目度): 0.5076419064097734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We analyse allocation, admission and post-write retention in finite-horizon linear-Gaussian noisy recurrent memories. At every horizon, the directional Fisher memory $M_n$ satisfies $\operatorname{tr}M_n=N$: non-normality redistributes information but cannot raise its spherical average, while normal carriers satisfy $M_n=I$. For bi-power-bounded carriers, we derive uniform $1/n$ lag bounds, identify the limit of $M_n$ with the inverse of the classical Cesàro asymptotic limit of $W^\top$, and give finite-horizon error bounds. A time-varying coupling defines an end-to-end store operator. The writer-optimal direction need not be store-optimal. After writing ends, an invertible hold preserves the full stored Fisher matrix. Additive contamination bounded by $α$ times the closure covariance retains at least $1/(1+α)$ of that matrix; a covariance-aware decoder attains the corresponding accuracy. With recurrent carriers held fixed, training input masks and linear readouts approached the task-specific optimum in 160 runs, with median normalized Rayleigh efficiency above $0.998$. Binary accuracy matched the Gaussian prediction to mean absolute error below $0.002$ over more than four orders of magnitude in $J$. In a separate pre-specified study of 320 runs, trained masks followed the designated input-time objective in both carrier types, in 16 of 16 draws. These studies used development-seen carriers and are pre-specified validations, not blind holdouts. The same fixed design reproduced the objective-specific result in 16 of 16 draws on carriers unused before run commitment. Exact isolation preserved information, while a decoder fixed at its training horizon fell to chance; inverse-adjoint transport restored its sampled decisions to numerical precision.
- Abstract(参考訳): 有限水平線形ガウス雑音リカレントメモリにおけるアロケーション,アクセプション,書き込み後保持の分析を行った。
すべての地平線において、方向性フィッシャーメモリ$M_n$は$\operatorname{tr}M_n=N$を満足するが、通常のキャリアは$M_n=I$を満たす。
両パワー有界キャリアに対しては、均一な1/n$ラグ境界を導出し、古典的セサロ漸近極限の逆の$M_n$を識別し、有限水平誤差境界を与える。
時変結合は、エンドツーエンドのストア演算子を定義する。
ライター-最適方向は、ストア-最適である必要はない。
書き終わった後、可逆ホールドは、完全に格納されたフィッシャー行列を保存する。
クロージャ共分散は、その行列の少なくとも1/(1+α)$を1/(1+α)以上保持し、共分散を意識したデコーダは対応する精度を得る。
リカレントキャリアが固定され、トレーニング用入力マスクとリニア・リードアウトが160ランでタスク固有の最適値に近づき、レイリーの効率は0.998ドル以上となった。
バイナリ精度はガウス予想と一致し、絶対誤差は0.002$以下の4桁以上である。
320回のランニングにおいて、訓練されたマスクは2つのキャリアタイプで指定された入力時間目標に従って、16の引き分けのうち16の引き分けを行った。
これらの研究は、現像型キャリアを使用し、ブラインドホールトアウトではなく、事前に特定されたバリデーションである。
同じ固定設計では、目標固有の結果が16点中16点に再現され、運用前に未使用の空母に描画された。
厳密な隔離保存情報、訓練地平線で固定されたデコーダは偶然に失敗し、逆アジョイント輸送はサンプル決定を数値的な精度で復元した。
関連論文リスト
- Counterfactual Probing for Parallel Unmasking with Hidden Forest Structure [50.58119214447535]
Masked生成モデルは並列トークン予測を提供するが、正確な並列サンプリングはトークン間の依存関係を考慮しなければならない。
本研究は,発見を含む全評価がシーケンス長$N$のサブ線形であるかどうかを考察する。
本研究では, 森林構造を隠蔽した離散分布を, 固定された近似条件オラクルを通してアクセスする。
論文 参考訳(メタデータ) (2026-09-29T15:39:50Z) - A Convergence Framework for Deep $V$-Learning: Error Propagation and Sharp Action-Gap Bounds [0.0]
更新エラーを、フィッティング、遷移再利用、ターゲット構築、リプレイ、アクション選択、探索の6つの残差に分解する。
次数$n-$の統計的誤差境界に対して、最適連続割り当てと、制約された最適値の係数2$以内の整数割り当てを導出する。
これらの結果から, FIFO/インターリーブされたSGDに対して, 厳密な動作スコアを有する固定水平生成-リセット近似-ERM法に対して, 期待されるポリシ-ロス一貫性が得られた。
論文 参考訳(メタデータ) (2026-09-16T15:03:46Z) - Sharp Rates and a One-Line Correction for Spectral Representation Learning [8.921166277011347]
自己管理エンコーダは、トレーニング時に誰も名前をつけないタスクの軽量プローブを通じてトレーニングされ、凍結され、再利用される。
標準相関解析、HGR最大相関、およびスペクトルのコントラスト損失の集団最適化は、全て、クロスビュー依存作用素のトップ-$k$特異部分空間を返す。
isotropy is the wrong hypothesis. the prior enters the transfer risk through through the task covariance $=mathbbE[top]$, and through its compression to the operator's leading singular direction。
論文 参考訳(メタデータ) (2026-09-14T16:26:55Z) - Drift Variation Autoencoder: Unifying Generation and Representation Learning through Conditional Posterior Flow Matching [0.0]
この研究は、条件生成の共通統計対象として対応する後続の$P(Xmid C)$を取る。
ドリフト変動オートエンコーダは、マスク付きエンコーダ$Z=E(C)$と、1つのきれいな予測フローマッチング損失を持つ条件付きフローデコーダを訓練する。
論文 参考訳(メタデータ) (2026-08-25T20:38:50Z) - Hidden-State Privacy Has an Empty Middle [51.56484100374058]
すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。
スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル~24ドルという優位性を維持する。
論文 参考訳(メタデータ) (2026-05-21T20:12:09Z) - Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。
この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
論文 参考訳(メタデータ) (2026-04-12T20:49:33Z) - Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。
主な課題は、敵の計測と非同期である。
その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
論文 参考訳(メタデータ) (2026-04-07T11:45:55Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳(メタデータ) (2026-02-19T17:21:15Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。