論文の概要: Asymptotically Efficient Online Learning for Censored Regression Models
Under Non-I.I.D Data
- arxiv url: http://arxiv.org/abs/2309.09454v2
- Date: Sun, 1 Oct 2023 13:45:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-10-03 16:56:03.971363
- Title: Asymptotically Efficient Online Learning for Censored Regression Models
Under Non-I.I.D Data
- Title（参考訳）: 非i.i.dデータに基づく検閲回帰モデルの漸近的効率的オンライン学習
- Authors: Lantian Zhang and Lei Guo
- Abstract要約: 検閲された回帰モデルに対して,効率的なオンライン学習問題について検討した。
文献における既存の関連アルゴリズムよりも提案したオンラインアルゴリズムの方が優れていることを示す数値的な例を示す。
- 参考スコア（独自算出の注目度）: 2.2446129622980227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The asymptotically efficient online learning problem is investigated for
stochastic censored regression models, which arise from various fields of
learning and statistics but up to now still lacks comprehensive theoretical
studies on the efficiency of the learning algorithms. For this, we propose a
two-step online algorithm, where the first step focuses on achieving algorithm
convergence, and the second step is dedicated to improving the estimation
performance. Under a general excitation condition on the data, we show that our
algorithm is strongly consistent and asymptotically normal by employing the
stochastic Lyapunov function method and limit theories for martingales.
Moreover, we show that the covariances of the estimates can achieve the
Cramer-Rao (C-R) bound asymptotically, indicating that the performance of the
proposed algorithm is the best possible that one can expect in general. Unlike
most of the existing works, our results are obtained without resorting to the
traditionally used but stringent conditions such as independent and identically
distributed (i.i.d) assumption on the data, and thus our results do not exclude
applications to stochastic dynamical systems with feedback. A numerical example
is also provided to illustrate the superiority of the proposed online algorithm
over the existing related ones in the literature.
- Abstract（参考訳）: 漸近的効率のよいオンライン学習問題は、様々な学習と統計学の分野から生じる確率的検閲回帰モデルに対して研究されているが、現在まで学習アルゴリズムの効率に関する包括的な理論的研究が欠けている。
そこで本研究では,第1段階がアルゴリズム収束の達成に焦点をあて,第2段階が推定性能の向上に焦点をあてた2段階オンラインアルゴリズムを提案する。
データに対する一般的な励起条件の下では、確率的リャプノフ関数法とマルティンガレの極限理論を用いて、我々のアルゴリズムは強く一貫性があり、漸近的に正常であることを示す。
さらに, 推定値の共分散が漸近的にクラマー・ラオ(C-R)境界を達成できることを示し, 提案アルゴリズムの性能が一般に期待できる最良の可能性であることを示す。
既存の著作物と異なり,データに対する独立かつ同一分散(i.i.d)の仮定のような,従来使用されてきたが厳密な条件に頼らずに結果が得られるため,フィードバックを伴う確率力学系への応用は除外されない。
オンラインアルゴリズムが文献上の既存の関連アルゴリズムよりも優れていることを示す数値例も提示されている。
関連論文リスト
- Asymptotically Optimal Change Detection for Unnormalized Pre- and Post-Change Distributions [65.38208224389027]
本稿では,非正規化前および後の変化分布のみがアクセス可能である場合にのみ,変化を検出する問題に対処する。
提案手法は,最適性能を示すことが知られている累積サム統計量の推定に基づく。
論文 参考訳（メタデータ） (2024-10-18T17:13:29Z) - Adaptive Linear Estimating Equations [5.985204759362746]
本稿では,デバイアス推定器の一般的な構成法を提案する。
適応線形推定方程式の考え方を利用し、正規性の理論的保証を確立する。
我々の推定器の健全な特徴は、マルチアームバンディットの文脈では、我々の推定器は非漸近的な性能を保っていることである。
論文 参考訳（メタデータ） (2023-07-14T12:55:47Z) - Instance-Optimality in Interactive Decision Making: Toward a
Non-Asymptotic Theory [30.061707627742766]
適応性の強い概念であるインスタンス最適化を目指しており、どの問題の場合であっても、検討中のアルゴリズムは全ての一貫したアルゴリズムより優れていると主張する。
本稿では,一般関数近似を用いたインスタンス最適決定の非漸近的理論の開発に向けて第一歩を踏み出す。
論文 参考訳（メタデータ） (2023-04-24T21:51:58Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Asymptotic consistency of the WSINDy algorithm in the limit of continuum
data [0.0]
非線形力学アルゴリズム(WSINDy)の弱形式スパース同定の整合性について検討する。
弱形式方程式学習の雑音に対する観測されたロバスト性について数学的に厳密な説明を行う。
論文 参考訳（メタデータ） (2022-11-29T07:49:34Z) - Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。
理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。
本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
論文 参考訳（メタデータ） (2022-10-12T06:46:38Z) - Off-policy estimation of linear functionals: Non-asymptotic theory for
semi-parametric efficiency [59.48096489854697]
観測データに基づいて線形汎関数を推定する問題は、因果推論と包帯文献の両方において標準的である。
このような手順の平均二乗誤差に対して非漸近上界を証明した。
非漸近的局所ミニマックス下限をマッチングすることにより、有限標本のインスタンス依存最適性を確立する。
論文 参考訳（メタデータ） (2022-09-26T23:50:55Z) - Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。
本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。
いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-07-14T18:18:02Z) - Pessimistic Q-Learning for Offline Reinforcement Learning: Towards
Optimal Sample Complexity [51.476337785345436]
有限水平マルコフ決定過程の文脈におけるQ-ラーニングの悲観的変種について検討する。
ほぼ最適サンプル複雑性を実現するために,分散再現型悲観的Q-ラーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-28T15:39:36Z) - Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。
提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。
我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
論文 参考訳（メタデータ） (2021-08-01T14:33:17Z) - Non-asymptotic estimates for TUSLA algorithm for non-convex learning
with applications to neural networks with ReLU activation function [3.5044892799305956]
Lovas et alで導入された未調整Langevinアルゴリズム(TUSLA)の非漸近解析を行う。
特に、Wassersteinstein-1-2におけるTUSLAアルゴリズムの非漸近誤差境界を確立する。
TUSLAアルゴリズムは最適解に急速に収束することを示す。
論文 参考訳（メタデータ） (2021-07-19T07:13:02Z) - Identification and Adaptation with Binary-Valued Observations under
Non-Persistent Excitation Condition [1.6897716547971817]
2値観測による回帰モデルのパラメータ推定のためのオンライン予測準ニュートン型アルゴリズムを提案する。
推定アルゴリズムの強い整合性を確立し,収束率を与える。
適応予測器の収束と適応制御への応用についても論じる。
論文 参考訳（メタデータ） (2021-07-08T03:57:50Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳（メタデータ） (2021-01-15T11:39:09Z) - Benchmarking Simulation-Based Inference [5.3898004059026325]
確率的モデリングの最近の進歩は、確率の数値的評価を必要としないシミュレーションに基づく推論アルゴリズムを多数もたらした。
推論タスクと適切なパフォーマンス指標を備えたベンチマークを,アルゴリズムの初期選択とともに提供する。
性能指標の選択は重要であり、最先端のアルゴリズムでさえ改善の余地があり、逐次推定によりサンプリング効率が向上することがわかった。
論文 参考訳（メタデータ） (2021-01-12T18:31:22Z) - Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。
合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-10-26T11:31:08Z) - Statistical optimality and stability of tangent transform algorithms in
logit models [6.9827388859232045]
我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。
特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。
我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
論文 参考訳（メタデータ） (2020-10-25T05:15:13Z) - An Analysis of Constant Step Size SGD in the Non-convex Regime:
Asymptotic Normality and Bias [17.199063087458907]
臨界点が好ましい統計特性を持つ構造化された非学習問題は、統計機械学習において頻繁に発生する。
我々は,SGDアルゴリズムが実際に広く利用されていることを示す。
論文 参考訳（メタデータ） (2020-06-14T13:58:44Z) - Optimizing for the Future in Non-Stationary MDPs [52.373873622008944]
本稿では,今後の性能予測を最大化するポリシ勾配アルゴリズムを提案する。
我々のアルゴリズムであるPrognosticatorは2つのオンライン適応手法よりも非定常性に頑健であることを示す。
論文 参考訳（メタデータ） (2020-05-17T03:41:19Z) - Gaussian Variational State Estimation for Nonlinear State-Space Models [0.3222802562733786]
非線形状態空間モデルに対するフィルタリングと平滑化の両面から状態推定の問題を考察する。
我々は変分推論に基づく仮定ガウス解を開発し、必要な分布を近似する柔軟なが原則化されたメカニズムの鍵となる利点を提供する。
論文 参考訳（メタデータ） (2020-02-07T04:46:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。