論文の概要: Capacity dependent analysis for functional online learning algorithms
- arxiv url: http://arxiv.org/abs/2209.12198v1
- Date: Sun, 25 Sep 2022 11:21:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 14:45:13.696200
- Title: Capacity dependent analysis for functional online learning algorithms
- Title（参考訳）: 関数型オンライン学習アルゴリズムの容量依存解析
- Authors: Xin Guo, Zheng-Chu Guo, Lei Shi
- Abstract要約: 本稿では,関数線形モデルに対するオンライン勾配降下アルゴリズムの収束解析について述べる。
キャパシティ仮定は、対象関数の正則性が増加するにつれて収束率の飽和を緩和できることを示す。
- 参考スコア（独自算出の注目度）: 8.748563565641279
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This article provides convergence analysis of online stochastic gradient
descent algorithms for functional linear models. Adopting the characterizations
of the slope function regularity, the kernel space capacity, and the capacity
of the sampling process covariance operator, significant improvement on the
convergence rates is achieved. Both prediction problems and estimation problems
are studied, where we show that capacity assumption can alleviate the
saturation of the convergence rate as the regularity of the target function
increases. We show that with properly selected kernel, capacity assumptions can
fully compensate for the regularity assumptions for prediction problems (but
not for estimation problems). This demonstrates the significant difference
between the prediction problems and the estimation problems in functional data
analysis.
- Abstract（参考訳）: 本稿では,関数線形モデルに対するオンライン確率勾配勾配アルゴリズムの収束解析について述べる。
傾斜関数の正則性, 核空間容量, サンプリング過程共分散演算子の容量のキャラクタリゼーションを取り入れ, 収束率を大幅に改善した。
予測問題と推定問題の両方について検討し,対象関数の正則性が増加するにつれて収束率の飽和を緩和できることを示す。
適切に選択されたカーネルでは、キャパシティ仮定は予測問題に対する正則性仮定を完全に補うことができる(ただし、推定問題には当てはまらない)。
これは,関数型データ解析における予測問題と推定問題との有意な差異を示す。
関連論文リスト
- Eliminating Ratio Bias for Gradient-based Simulated Parameter Estimation [0.7673339435080445]
本稿では、可能性関数が解析的に利用できないモデルにおけるパラメータキャリブレーションの課題に対処する。
本稿では,最大推定と後続密度推定の両問題において,比バイアスの問題に対処するマルチタイムスケールを応用した勾配に基づくシミュレーションパラメータ推定フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-20T02:46:15Z) - Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。
提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文 参考訳（メタデータ） (2024-10-22T10:19:27Z) - Distributed Learning with Discretely Observed Functional Data [1.4583059436979549]
本稿では,分散スペクトルアルゴリズムとソボレフカーネルを組み合わせることで,関数線形回帰問題に取り組む。
アルゴリズムの仮説関数空間は、ソボレフカーネルによって生成されるソボレフ空間である。
我々は、ソボレフノルムにおける分散スペクトルアルゴリズムの収束に対する上界と下界のマッチングを導出する。
論文 参考訳（メタデータ） (2024-10-03T10:49:34Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Distributed Stochastic Optimization under a General Variance Condition [13.911633636387059]
分散最適化は最近、大規模な機械学習問題の解決に効果があるとして、大きな注目を集めている。
我々は、古典的フェデレーション平均化(Avg)を再考し、滑らかな非対象関数に対して、緩やかな分散しか持たない収束結果を確立する。
ほぼ1つの定常収束点も勾配条件の下で成立する。
論文 参考訳（メタデータ） (2023-01-30T05:48:09Z) - Online Regularized Learning Algorithm for Functional Data [2.5382095320488673]
本稿では,Hilbertカーネル空間におけるオンライン正規化学習アルゴリズムについて考察する。
その結果, 定常的なステップサイズでの予測誤差と推定誤差の収束速度は, 文献と競合することがわかった。
論文 参考訳（メタデータ） (2022-11-24T11:56:10Z) - Statistical Optimality of Divide and Conquer Kernel-based Functional
Linear Regression [1.7227952883644062]
本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。
分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
論文 参考訳（メタデータ） (2022-11-20T12:29:06Z) - Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。
本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
論文 参考訳（メタデータ） (2022-08-29T16:16:22Z) - Experimental Design for Linear Functionals in Reproducing Kernel Hilbert
Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。
準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文 参考訳（メタデータ） (2022-05-26T20:56:25Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。