論文の概要: Capacity dependent analysis for functional online learning algorithms
- arxiv url: http://arxiv.org/abs/2209.12198v1
- Date: Sun, 25 Sep 2022 11:21:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 14:45:13.696200
- Title: Capacity dependent analysis for functional online learning algorithms
- Title(参考訳): 関数型オンライン学習アルゴリズムの容量依存解析
- Authors: Xin Guo, Zheng-Chu Guo, Lei Shi
- Abstract要約: 本稿では,関数線形モデルに対するオンライン勾配降下アルゴリズムの収束解析について述べる。
キャパシティ仮定は、対象関数の正則性が増加するにつれて収束率の飽和を緩和できることを示す。
- 参考スコア(独自算出の注目度): 8.748563565641279
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This article provides convergence analysis of online stochastic gradient
descent algorithms for functional linear models. Adopting the characterizations
of the slope function regularity, the kernel space capacity, and the capacity
of the sampling process covariance operator, significant improvement on the
convergence rates is achieved. Both prediction problems and estimation problems
are studied, where we show that capacity assumption can alleviate the
saturation of the convergence rate as the regularity of the target function
increases. We show that with properly selected kernel, capacity assumptions can
fully compensate for the regularity assumptions for prediction problems (but
not for estimation problems). This demonstrates the significant difference
between the prediction problems and the estimation problems in functional data
analysis.
- Abstract(参考訳): 本稿では,関数線形モデルに対するオンライン確率勾配勾配アルゴリズムの収束解析について述べる。
傾斜関数の正則性, 核空間容量, サンプリング過程共分散演算子の容量のキャラクタリゼーションを取り入れ, 収束率を大幅に改善した。
予測問題と推定問題の両方について検討し,対象関数の正則性が増加するにつれて収束率の飽和を緩和できることを示す。
適切に選択されたカーネルでは、キャパシティ仮定は予測問題に対する正則性仮定を完全に補うことができる(ただし、推定問題には当てはまらない)。
これは,関数型データ解析における予測問題と推定問題との有意な差異を示す。
関連論文リスト
- Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳(メタデータ) (2023-04-17T14:23:43Z) - Distributed Stochastic Optimization under a General Variance Condition [13.911633636387059]
分散最適化は最近、大規模な機械学習問題の解決に効果があるとして、大きな注目を集めている。
我々は、古典的フェデレーション平均化(Avg)を再考し、滑らかな非対象関数に対して、緩やかな分散しか持たない収束結果を確立する。
ほぼ1つの定常収束点も勾配条件の下で成立する。
論文 参考訳(メタデータ) (2023-01-30T05:48:09Z) - Online Regularized Learning Algorithm for Functional Data [2.5382095320488673]
本稿では,Hilbertカーネル空間におけるオンライン正規化学習アルゴリズムについて考察する。
その結果, 定常的なステップサイズでの予測誤差と推定誤差の収束速度は, 文献と競合することがわかった。
論文 参考訳(メタデータ) (2022-11-24T11:56:10Z) - Statistical Optimality of Divide and Conquer Kernel-based Functional
Linear Regression [1.7227952883644062]
本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。
分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
論文 参考訳(メタデータ) (2022-11-20T12:29:06Z) - Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。
本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
論文 参考訳(メタデータ) (2022-08-29T16:16:22Z) - Experimental Design for Linear Functionals in Reproducing Kernel Hilbert
Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。
準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文 参考訳(メタデータ) (2022-05-26T20:56:25Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - Learning Stochastic Graph Neural Networks with Constrained Variance [18.32587282139282]
グラフニューラルネットワーク(Graph Neural Network, SGNN)は、ランダムグラフ上のデータから表現を学習する情報処理アーキテクチャである。
本稿では,SGNNに対する分散制約付き最適化問題を提案し,予測性能と偏差のバランスをとる。
降下したSGNNパラメータと昇降した双対変数を更新することで問題を解く。
論文 参考訳(メタデータ) (2022-01-29T15:55:58Z) - A generalization gap estimation for overparameterized models via the
Langevin functional variance [6.231304401179968]
関数分散は過パラメータ設定においても一般化ギャップを特徴付けることを示す。
本稿では,関数分散の効率的な近似,関数分散のランゲヴィン近似(Langevin FV)を提案する。
論文 参考訳(メタデータ) (2021-12-07T12:43:05Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。