論文の概要: Stochastic approximation in non-markovian environments revisited
- arxiv url: http://arxiv.org/abs/2603.21091v1
- Date: Sun, 22 Mar 2026 07:09:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.232856
- Title: Stochastic approximation in non-markovian environments revisited
- Title(参考訳): 非マルコフ環境における確率近似の再検討
- Authors: Vivek Shripad Borkar,
- Abstract要約: 本稿では,トランスフォーマーに基づく学習,特に注意機構と継続学習を理解するための分析フレームワークを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Based on some recent work of the author on stochastic approximation in non-markovian environments, the situation when the driving random process is non-ergodic in addition to being non-markovian is considered. Using this, we propose an analytic framework for understanding transformer based learning, specifically, the `attention' mechanism, and continual learning, both of which depend on the entire past in principle.
- Abstract(参考訳): 非マルコフ環境における確率近似に関する著者の最近の研究に基づき、非マルコフ環境に加えて運転ランダム過程が非エルゴード的である状況を考える。
これを用いて,トランスフォーマーに基づく学習,特に「注意」メカニズムと継続学習を理解するための分析フレームワークを提案する。
関連論文リスト
- Relational Conformal Prediction for Correlated Time Series [56.59852921638328]
時系列における不確実性定量化の問題を相関配列を利用して解決する。
共形予測フレームワークと量子レグレッションに基づく分布自由な新しい手法を提案する。
我々の手法は正確なカバレッジを提供し、関連するベンチマークで最先端の不確実性定量化を実現する。
論文 参考訳(メタデータ) (2025-02-13T16:12:17Z) - Asymptotic and Finite Sample Analysis of Nonexpansive Stochastic Approximations with Markovian Noise [20.474661995490365]
本研究は、単に拡張的でない作用素との近似を研究する。
特にマルコフ雑音による非拡張近似について検討する。
応用として、古典的な平均報酬時間差学習が標本経路依存の固定点に収束することを初めて証明する。
論文 参考訳(メタデータ) (2024-09-29T04:16:24Z) - One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。
幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
論文 参考訳(メタデータ) (2023-12-16T14:59:11Z) - A Stability Principle for Learning under Non-Stationarity [1.1510009152620668]
非定常環境における統計的学習のための多目的フレームワークを開発する。
我々は、人口損失が強く凸している場合やリプシッツのみにおいて、最小限の最小値である後悔境界を対数的要因まで証明する。
本研究は,需要予測と病院看護スタッフの実際のデータ実験を通じて,本手法の実用性を評価する。
論文 参考訳(メタデータ) (2023-10-27T17:53:53Z) - Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。
鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
論文 参考訳(メタデータ) (2023-05-24T20:43:47Z) - Benchmarking common uncertainty estimation methods with
histopathological images under domain shift and label noise [62.997667081978825]
リスクの高い環境では、深層学習モデルは不確実性を判断し、誤分類の可能性がかなり高い場合に入力を拒否しなければなりません。
我々は,全スライド画像の分類において,最もよく使われている不確実性と頑健さの厳密な評価を行う。
我々は一般的に,手法のアンサンブルが,ドメインシフトやラベルノイズに対するロバスト性の向上とともに,より良い不確実性評価につながることを観察する。
論文 参考訳(メタデータ) (2023-01-03T11:34:36Z) - Finite-Time Convergence Rates of Nonlinear Two-Time-Scale Stochastic
Approximation under Markovian Noise [2.0305676256390934]
2つの連結非線形作用素の根を探すためのシミュレーションベースアプローチである,いわゆる2時間スケール近似について検討する。
特に、マルコフプロセスによってメソッド内のデータが生成されるシナリオを考える。
演算子とマルコフ過程に関するかなり標準的な仮定の下で、この方法によって生成される平均二乗誤差の収束率を 0 に特徴づける公式を提供する。
論文 参考訳(メタデータ) (2021-04-04T15:19:19Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳(メタデータ) (2021-02-12T12:23:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。