論文の概要: Asymptotically Efficient Online Learning for Censored Regression Models
Under Non-I.I.D Data
- arxiv url: http://arxiv.org/abs/2309.09454v1
- Date: Mon, 18 Sep 2023 03:28:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 15:23:27.764323
- Title: Asymptotically Efficient Online Learning for Censored Regression Models
Under Non-I.I.D Data
- Title(参考訳): 非i.i.dデータに基づく検閲回帰モデルの漸近的効率的オンライン学習
- Authors: Lantian Zhang and Lei Guo
- Abstract要約: 検閲された回帰モデルに対して,効率的なオンライン学習問題について検討した。
文献における既存の関連アルゴリズムよりも提案したオンラインアルゴリズムの方が優れていることを示す数値的な例を示す。
- 参考スコア(独自算出の注目度): 2.2446129622980227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The asymptotically efficient online learning problem is investigated for
stochastic censored regression models, which arise from various fields of
learning and statistics but up to now still lacks comprehensive theoretical
studies on the efficiency of the learning algorithms. For this, we propose a
two-step online algorithm, where the first step focuses on achieving algorithm
convergence, and the second step is dedicated to improving the estimation
performance. Under a general excitation condition on the data, we show that our
algorithm is strongly consistent and asymptotically normal by employing the
stochastic Lyapunov function method and limit theories for martingales.
Moreover, we show that the covariances of the estimates can achieve the
Cramer-Rao (C-R) bound asymptotically, indicating that the performance of the
proposed algorithm is the best possible that one can expect in general. Unlike
most of the existing works, our results are obtained without resorting to the
traditionally used but stringent conditions such as independent and identically
distributed (i.i.d) assumption on the data, and thus our results do not exclude
applications to stochastic dynamical systems with feedback. A numerical example
is also provided to illustrate the superiority of the proposed online algorithm
over the existing related ones in the literature.
- Abstract(参考訳): 漸近的効率のよいオンライン学習問題は、様々な学習と統計学の分野から生じる確率的検閲回帰モデルに対して研究されているが、現在まで学習アルゴリズムの効率に関する包括的な理論的研究が欠けている。
そこで本研究では,第1段階がアルゴリズム収束の達成に焦点をあて,第2段階が推定性能の向上に焦点をあてた2段階オンラインアルゴリズムを提案する。
データに対する一般的な励起条件の下では、確率的リャプノフ関数法とマルティンガレの極限理論を用いて、我々のアルゴリズムは強く一貫性があり、漸近的に正常であることを示す。
さらに, 推定値の共分散が漸近的にクラマー・ラオ(C-R)境界を達成できることを示し, 提案アルゴリズムの性能が一般に期待できる最良の可能性であることを示す。
既存の著作物と異なり,データに対する独立かつ同一分散(i.i.d)の仮定のような,従来使用されてきたが厳密な条件に頼らずに結果が得られるため,フィードバックを伴う確率力学系への応用は除外されない。
オンラインアルゴリズムが文献上の既存の関連アルゴリズムよりも優れていることを示す数値例も提示されている。
関連論文リスト
- Adaptive Linear Estimating Equations [5.985204759362746]
本稿では,デバイアス推定器の一般的な構成法を提案する。
適応線形推定方程式の考え方を利用し、正規性の理論的保証を確立する。
我々の推定器の健全な特徴は、マルチアームバンディットの文脈では、我々の推定器は非漸近的な性能を保っていることである。
論文 参考訳(メタデータ) (2023-07-14T12:55:47Z) - Instance-Optimality in Interactive Decision Making: Toward a
Non-Asymptotic Theory [30.061707627742766]
適応性の強い概念であるインスタンス最適化を目指しており、どの問題の場合であっても、検討中のアルゴリズムは全ての一貫したアルゴリズムより優れていると主張する。
本稿では,一般関数近似を用いたインスタンス最適決定の非漸近的理論の開発に向けて第一歩を踏み出す。
論文 参考訳(メタデータ) (2023-04-24T21:51:58Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳(メタデータ) (2023-04-12T14:51:47Z) - Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。
本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。
いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-07-14T18:18:02Z) - Pessimistic Q-Learning for Offline Reinforcement Learning: Towards
Optimal Sample Complexity [51.476337785345436]
有限水平マルコフ決定過程の文脈におけるQ-ラーニングの悲観的変種について検討する。
ほぼ最適サンプル複雑性を実現するために,分散再現型悲観的Q-ラーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-28T15:39:36Z) - Non-asymptotic estimates for TUSLA algorithm for non-convex learning
with applications to neural networks with ReLU activation function [3.5044892799305956]
Lovas et alで導入された未調整Langevinアルゴリズム(TUSLA)の非漸近解析を行う。
特に、Wassersteinstein-1-2におけるTUSLAアルゴリズムの非漸近誤差境界を確立する。
TUSLAアルゴリズムは最適解に急速に収束することを示す。
論文 参考訳(メタデータ) (2021-07-19T07:13:02Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Benchmarking Simulation-Based Inference [5.3898004059026325]
確率的モデリングの最近の進歩は、確率の数値的評価を必要としないシミュレーションに基づく推論アルゴリズムを多数もたらした。
推論タスクと適切なパフォーマンス指標を備えたベンチマークを,アルゴリズムの初期選択とともに提供する。
性能指標の選択は重要であり、最先端のアルゴリズムでさえ改善の余地があり、逐次推定によりサンプリング効率が向上することがわかった。
論文 参考訳(メタデータ) (2021-01-12T18:31:22Z) - Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。
合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-10-26T11:31:08Z) - Statistical optimality and stability of tangent transform algorithms in
logit models [6.9827388859232045]
我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。
特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。
我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
論文 参考訳(メタデータ) (2020-10-25T05:15:13Z) - Optimizing for the Future in Non-Stationary MDPs [52.373873622008944]
本稿では,今後の性能予測を最大化するポリシ勾配アルゴリズムを提案する。
我々のアルゴリズムであるPrognosticatorは2つのオンライン適応手法よりも非定常性に頑健であることを示す。
論文 参考訳(メタデータ) (2020-05-17T03:41:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。