論文の概要: Backward Coherence and Hidden-State Stability in Recurrent Neural Networks: A Quasi-Reverse-Martingale Theory
- arxiv url: http://arxiv.org/abs/2606.08934v1
- Date: Mon, 08 Jun 2026 02:20:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.572264
- Title: Backward Coherence and Hidden-State Stability in Recurrent Neural Networks: A Quasi-Reverse-Martingale Theory
- Title（参考訳）: リカレントニューラルネットワークにおける逆コヒーレンスと隠れ状態安定性:準逆マーチンゲール理論
- Authors: Yuan-chin Ivan Chang,
- Abstract要約: リカレントニューラルネットワークは隠れ状態の$h_t$を維持しているが、確率的意味はしばしば不明である。
エンフバックワードコヒーレンス(enmphbackward coherence)を用いて隠れ状態安定性について検討し、学習した後方プロジェクタによって$h_t+1$から$h_t$を再構成できる範囲について検討する。
これにより、ほぼ公理収束、混合の速度、解釈可能な制限表現、有限経路停止時間、時間一様信頼系列の理論的枠組みが得られる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recurrent neural networks maintain a hidden state $h_t$, but its probabilistic meaning is often unclear. We study hidden-state stability through \emph{backward coherence}: the extent to which $h_t$ can be reconstructed from $h_{t+1}$ by a learned backward projector $g_φ$. Under contraction and summable backward drift, the hidden-state sequence forms a quasi-reverse-martingale. This yields almost-sure convergence, rates under mixing, an interpretable limiting representation, finite pathwise stopping times, and a theoretical framework for time-uniform confidence sequences. Simulations support the theory. Backward-coherence regularisation reduces the empirical quasi-martingale total $\hat Q$ by $43$--$58%$, reaches stability $28$--$44%$ earlier than an unregularised RNN, and gives tracking-error recovery consistent with geometric bounds. Additional tests confirm echo-state forgetting rates bounded by $ρ$ and verify the increment-sum tube $R_t$ with $100%$ simultaneous coverage, although $R_t$ is conservative; in practice, the defect-tail proxy $\hat Q_t$ is the more useful monitor. The backward-coherence loss is also equivalent to minimising a Kullback--Leibler divergence in a Gaussian backward model, linking the method to variational inference. Extensions cover $φ$-mixing inputs, change-point tracking, and finite-sample concentration. Three real-data studies further validate the approach. On PhysioNet 2012 ICU data, the Reverse Martingale RNN (RMRNN) matches RNN mortality-prediction AUC while reaching stable representations 13 hours earlier. On FRED-MD, it reduces one-month-ahead forecast error by about fourfold under concept drift. On UCI Human Activity Recognition, it maintains lower post-transition tracking error with geometric decay. The guarantees apply under the stated assumptions; universality is not claimed.
- Abstract（参考訳）: リカレントニューラルネットワークは隠れ状態の$h_t$を維持しているが、確率的意味はしばしば不明である。
emph{backward coherence}: $h_t$ が $h_{t+1}$ から再構成できる範囲を学習された後方プロジェクタ $g_φ$ で調べる。
収縮と要約可能な後方ドリフトの下で、隠れ状態列は準逆マーチンゲールを形成する。
これにより、ほぼ公理収束、混合の速度、解釈可能な制限表現、有限経路停止時間、時間一様信頼系列の理論的枠組みが得られる。
シミュレーションがその理論を支持する。
後方コヒーレンス正規化は、経験的な準マーチンゲールを合計$\hat Q$$$43$-$58%$に下げ、不安定なRNNよりも早く28$--$44%$に達する。
追加のテストでは、$ρ$で束縛されたエコー状態の忘れ率を確認し、インクリメントサムチューブ$R_t$を100%$同時カバレッジで検証するが、$R_t$は保守的である。
後方コヒーレンス損失は、ガウスの後方モデルにおけるクルバック-リーブラ分岐の最小化と等価であり、この手法を変分推論にリンクする。
拡張は$φ$-mixing入力、変更点追跡、有限サンプル濃度をカバーする。
3つの実データ研究がアプローチをさらに検証している。
PhysioNet 2012 ICUデータでは、Reverse Martingale RNN(RMRNN)は13時間前に安定な表現に達しながら、RNN死亡率予測AUCと一致している。
FRED-MDでは、コンセプトドリフトの下で1ヶ月の予測誤差を約4倍に削減する。
UCIのヒューマンアクティビティ認識では、幾何減衰を伴う遷移後追跡誤差を低く維持する。
保証は、記載された前提の下で適用され、普遍性は主張されない。
関連論文リスト
- Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。
鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。
我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
論文 参考訳（メタデータ） (2026-05-21T08:57:38Z) - A Theory of Generalization in Deep Learning [0.0]
本稿では、経験的ニューラルネットワークカーネルが出力空間を分割する深層学習における一般化の非漸近理論を提案する。
信号チャネル内において、ミニバッチSGDは、コヒーレント集団信号が高速な線形ドリフトを介して蓄積されることを保証する一方、慣用的暗記は遅く、拡散的なランダムウォークに抑制される。
この理論は、良心過剰、二重降下、暗黙の偏見、滑稽といった深層学習理論の異なる現象を自然に説明している。
論文 参考訳（メタデータ） (2026-05-02T00:21:36Z) - Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。
我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-20T19:34:53Z) - A 1/R Law for Kurtosis Contrast in Balanced Mixtures [15.412858526786978]
クルトーシスに基づく独立成分分析は、幅広いバランスの取れた混合物を弱める。
有効幅が$R_mathrmeff$の標準化された射影に対して、人口超過は$|(y)|=O(_max/R_mathrmeff)$に従う。
また、emphpurification -- selecting $m!ll!R$ sign-consistent sources -- restores $R$-independent contrast $ (1/m)$, with a simple data.
論文 参考訳（メタデータ） (2026-02-25T19:01:01Z) - Singular Bayesian Neural Networks [1.2891210250935148]
ベイズニューラルネットワークはキャリブレーションされた不確かさを約束するが、標準平均体ガウス後方に対する$O(mn)$パラメータを必要とする。
我々は、ルベーグ測度に関して特異な後部を誘導し、ランク-$r$多様体に集中する。
複素項が $sqrtr(m+n)$ ではなく $sqrtm n$ としてスケールするPAC-Bayes 一般化境界を導出し、誤差を最適化とランク誘導バイアスに分解する損失境界を証明する。
論文 参考訳（メタデータ） (2026-01-30T23:06:34Z) - Spectral Sentinel: Scalable Byzantine-Robust Decentralized Federated Learning via Sketched Random Matrix Theory on Blockchain [0.0]
ビザンチンのクライアントは、不均一な(Non-IID)データの下での濃度勾配を中毒する。
本稿では,ビザンチン検出・集約フレームワークであるSpectral Sentinelを提案する。
Polygonネットワーク上でブロックチェーンを統合することで,完全なシステムを実現しています。
論文 参考訳（メタデータ） (2025-12-14T09:43:03Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - Anchor-MoE: A Mean-Anchored Mixture of Experts For Probabilistic Regression [0.0]
本稿では,確率的および点回帰の両方を扱うAnchored Mixture of Experts (Anchor-MoE)モデルを提案する。
Anchor-MoE がminimax-optimal $L2$ risk rate を達成することを示す。
RMSEとNLLの強いNGベースラインと一貫して一致または超える。
論文 参考訳（メタデータ） (2025-08-22T21:12:41Z) - Simple Convergence Proof of Adam From a Sign-like Descent Perspective [58.89890024903816]
我々は、Adamが以前の$cal O(fracln TTs14)$よりも$cal O(frac1Ts14)$の最適なレートを達成することを示す。
我々の理論分析は、収束を保証する重要な要因として運動量の役割に関する新たな洞察を提供する。
論文 参考訳（メタデータ） (2025-07-08T13:19:26Z) - Fast Rates for the Regret of Offline Reinforcement Learning [69.23654172273085]
無限水平割引決定プロセス(MDP)における固定行動ポリシーによって生成されたオフラインデータからの強化学習の後悔について検討する。
最適品質関数 $Q*$ に対する任意の推定が与えられたとき、定義するポリシーの後悔は、$Q*$-estimate の点収束率の指数によって与えられる速度で収束することを示す。
論文 参考訳（メタデータ） (2021-01-31T16:17:56Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。