論文の概要: Estimates on Learning Rates for Multi-Penalty Distribution Regression

• arxiv url: http://arxiv.org/abs/2006.09017v1
• Date: Tue, 16 Jun 2020 09:31:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 20:02:55.531869
• Title: Estimates on Learning Rates for Multi-Penalty Distribution Regression
• Title（参考訳）: マルチペナルティ分布回帰の学習率の推定
• Authors: Zhan Yu, Daniel W. C. Ho
• Abstract要約: 本研究では,学習理論の枠組みに基づく分散回帰のためのマルチペナルティ正規化アルゴリズムについて検討する。 Hilbert 空間 $mathcalH_K$ と Mercer カーネル $K$ を平均埋め込み技術により再現する。 この研究は、既存の文献では研究されていない非標準設定$f_rhonotinmathcalH_K$における分布回帰の学習率も導出している。
• 参考スコア（独自算出の注目度）: 4.842903787149237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper is concerned with functional learning by utilizing two-stage sampled distribution regression. We study a multi-penalty regularization algorithm for distribution regression under the framework of learning theory. The algorithm aims at regressing to real valued outputs from probability measures. The theoretical analysis on distribution regression is far from maturity and quite challenging, since only second stage samples are observable in practical setting. In the algorithm, to transform information from samples, we embed the distributions to a reproducing kernel Hilbert space $\mathcal{H}_K$ associated with Mercer kernel $K$ via mean embedding technique. The main contribution of the paper is to present a novel multi-penalty regularization algorithm to capture more features of distribution regression and derive optimal learning rates for the algorithm. The work also derives learning rates for distribution regression in the nonstandard setting $f_{\rho}\notin\mathcal{H}_K$, which is not explored in existing literature. Moreover, we propose a distribution regression-based distributed learning algorithm to face large-scale data or information challenge. The optimal learning rates are derived for the distributed learning algorithm. By providing new algorithms and showing their learning rates, we improve the existing work in different aspects in the literature.
• Abstract（参考訳）: 本稿では,2段階のサンプル分布回帰を利用して機能学習を行う。 本研究では,分布回帰のための複数ペナルティ正則化アルゴリズムを学習理論の枠組みで検討する。 このアルゴリズムは確率測度から実値出力に回帰することを目的としている。 分布回帰の理論的な解析は、実用環境では第2段階のサンプルのみが観測可能であるため、成熟度や非常に困難である。 このアルゴリズムでは、サンプルから情報を変換するために、分布を平均埋め込み技法でマーサーカーネル $k$ に関連付けられた再生カーネルヒルベルト空間 $\mathcal{h}_k$ に埋め込む。 この論文の主な貢献は、分散回帰の特徴を捉え、アルゴリズムの最適学習率を導出するための、新しいマルチペナルティ正規化アルゴリズムを提案することである。 この研究は、既存の文献では研究されていない非標準設定 $f_{\rho}\notin\mathcal{H}_K$ における分布回帰の学習率も導出している。 さらに,大規模データや情報問題に直面する分散回帰に基づく分散学習アルゴリズムを提案する。 最適学習率を分散学習アルゴリズムに導出する。 新しいアルゴリズムを提供し、学習率を示すことによって、文学における既存の作業を異なる側面で改善する。

関連論文リスト

• A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
  本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。 汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。 MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
  論文  参考訳（メタデータ） (2024-07-19T08:29:12Z)
• Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
  分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。 我々は,分布保証が消えることを示し,推定分布が急速に崩壊して平均推定値が崩壊することを実証的に観察する。 提案手法は,$L$の学習効率を生かして,返却分布の予測値と量子化値とを協調的に学習し,返却分布の完全な分布を推定し,効率的な学習を可能にするものである。
  論文  参考訳（メタデータ） (2023-05-26T12:30:05Z)
• Domain Generalization by Functional Regression [3.209698860006188]
  本稿では,機能回帰問題としての領域一般化について考察する。 我々の概念は、入力の辺分布から入力の対応する条件分布への線形演算子を学習するための新しいアルゴリズムに導かれる。
  論文  参考訳（メタデータ） (2023-02-09T16:07:21Z)
• A Polynomial Time Algorithm for Learning Halfspaces with Tsybakov Noise [55.45544638410858]
  本研究では,Tsybakovノイズの存在下でのPAC学習の相同性半空間の問題について検討する。 我々のアルゴリズムは、任意の精度$epsilon$で真のハーフスペースを学習する。
  論文  参考訳（メタデータ） (2020-10-04T22:19:06Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)
• Covariate Distribution Aware Meta-learning [3.494950334697974]
  本稿では,有意義な緩和を導入することで,計算可能なメタ学習アルゴリズムを提案する。 一般的な分類ベンチマークに基づいて,ブートストラップによるメタラーニングベースラインに対するアルゴリズムの優位性を実証する。
  論文  参考訳（メタデータ） (2020-07-06T05:00:13Z)
• Meta-learning with Stochastic Linear Bandits [120.43000970418939]
  我々は、よく知られたOFULアルゴリズムの正規化バージョンを実装するバンディットアルゴリズムのクラスを考える。 我々は,タスク数の増加とタスク分散の分散が小さくなると,タスクを個別に学習する上で,我々の戦略が大きな優位性を持つことを理論的および実験的に示す。
  論文  参考訳（メタデータ） (2020-05-18T08:41:39Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)
• Scalable Approximate Inference and Some Applications [2.6541211006790983]
  本稿では,近似推論のための新しいフレームワークを提案する。 提案する4つのアルゴリズムは,Steinの手法の最近の計算進歩に動機付けられている。 シミュレーションおよび実データを用いた結果から,アルゴリズムの統計的効率と適用性を示す。
  論文  参考訳（メタデータ） (2020-03-07T04:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。