論文の概要: Distributed Gradient Descent for Functional Learning
- arxiv url: http://arxiv.org/abs/2305.07408v1
- Date: Fri, 12 May 2023 12:15:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 13:10:07.211305
- Title: Distributed Gradient Descent for Functional Learning
- Title（参考訳）: 機能学習のための分散勾配降下
- Authors: Zhan Yu, Jun Fan, Ding-Xuan Zhou
- Abstract要約: 多数のローカルマシン(プロセッサ)にまたがる関数データに対処する分散勾配勾配関数型学習(DGDFL)アルゴリズムを提案する。
軽度条件下では、DGDFLの信頼に基づく最適学習速度は、機能回帰における以前の研究で被った正則性指数の飽和境界を伴わずに得られる。
- 参考スコア（独自算出の注目度）: 8.271859911016719
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, different types of distributed learning schemes have
received increasing attention for their strong advantages in handling
large-scale data information. In the information era, to face the big data
challenges which stem from functional data analysis very recently, we propose a
novel distributed gradient descent functional learning (DGDFL) algorithm to
tackle functional data across numerous local machines (processors) in the
framework of reproducing kernel Hilbert space. Based on integral operator
approaches, we provide the first theoretical understanding of the DGDFL
algorithm in many different aspects in the literature. On the way of
understanding DGDFL, firstly, a data-based gradient descent functional learning
(GDFL) algorithm associated with a single-machine model is proposed and
comprehensively studied. Under mild conditions, confidence-based optimal
learning rates of DGDFL are obtained without the saturation boundary on the
regularity index suffered in previous works in functional regression. We
further provide a semi-supervised DGDFL approach to weaken the restriction on
the maximal number of local machines to ensure optimal rates. To our best
knowledge, the DGDFL provides the first distributed iterative training approach
to functional learning and enriches the stage of functional data analysis.
- Abstract（参考訳）: 近年,大規模データ情報を扱う上での強みとして,分散学習方式が注目されている。
情報化時代において,近年,関数型データ解析に端を発するビッグデータ問題に直面するために,カーネルヒルベルト空間を再現する枠組みにおいて,多数のローカルマシン(プロセッサ)にまたがる機能的データに取り組むための分散勾配降下関数学習(dgdfl)アルゴリズムを提案する。
積分作用素のアプローチに基づいて、DGDFLアルゴリズムの文献における多くの異なる側面における最初の理論的理解を提供する。
dgdflの理解について,まず,単機モデルに付随するデータベース勾配降下関数学習(gdfl)アルゴリズムを提案し,包括的に検討した。
軽度条件下では,DGDFLの信頼度に基づく最適学習速度は,従来の機能回帰における正則性指数の飽和境界なしに得られる。
さらに、ローカルマシンの最大数の制限を弱め、最適なレートを確保するための半教師付きDGDFLアプローチを提供する。
最高の知識のために、dgdflは、関数学習に最初の分散反復トレーニングアプローチを提供し、関数データ分析のステージを強化します。
関連論文リスト
- Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary
Data [100.33096338195723]
補助データを用いたFew-shot Learning(FLAD)に焦点を当てる。
FLADは、一般化を改善するために、数ショットの学習中に補助データへのアクセスを前提としている。
提案するアルゴリズムは EXP3-FLAD と UCB1-FLAD の2つである。
論文 参考訳（メタデータ） (2023-02-01T18:59:36Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳（メタデータ） (2022-10-03T07:59:42Z) - On Hypothesis Transfer Learning of Functional Linear Models [8.557392136621894]
再生カーネル空間(RKHS)フレームワークを用いて,関数線形回帰(FLR)のための伝達学習(TL)について検討する。
我々は、RKHS距離を用いてタスク間の類似度を測定し、RKHSの特性に関連付けられた情報の転送を行う。
2つのアルゴリズムが提案され、1つは正のソースが分かっているときに転送を行い、もう1つはアグリゲーションを利用してソースに関する事前情報なしでロバストな転送を行う。
論文 参考訳（メタデータ） (2022-06-09T04:50:16Z) - Deep Neural Network Classifier for Multi-dimensional Functional Data [4.340040784481499]
我々は,多次元関数型データを分類するFDNN(Functional Deep Neural Network)と呼ばれる新しい手法を提案する。
具体的には、将来のデータ関数のクラスラベルを予測するために使用されるトレーニングデータの原則コンポーネントに基づいて、ディープニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2022-05-17T19:22:48Z) - Fast Reinforcement Learning with Incremental Gaussian Mixture Models [0.0]
Incrmental Gaussian Mixture Network (IGMN)と呼ばれる単一パスから学習可能なオンラインおよびインクリメンタルなアルゴリズムが、結合状態とQ値空間のためのサンプル効率関数近似器として採用された。
IGMN関数近似器の使用は、勾配降下法で訓練された従来のニューラルネットワークと比較して、強化学習に重要な利点をもたらすことが観察された。
論文 参考訳（メタデータ） (2020-11-02T03:18:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。