論文の概要: Distributed Gradient Descent for Functional Learning
- arxiv url: http://arxiv.org/abs/2305.07408v2
- Date: Wed, 17 Jul 2024 07:27:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 23:50:47.882904
- Title: Distributed Gradient Descent for Functional Learning
- Title（参考訳）: 関数型学習のための分散Gradient Descent
- Authors: Zhan Yu, Jun Fan, Zhongjie Shi, Ding-Xuan Zhou,
- Abstract要約: 我々は,カーネルヒルベルト空間を再現するフレームワークにおいて,多数のローカルマシン(プロセッサ)にまたがる関数データに取り組むために,分散勾配勾配関数学習(DGDFL)アルゴリズムを提案する。
軽度条件下では、DGDFLの信頼に基づく最適学習速度は、機能回帰における以前の研究で被った正則性指数の飽和境界を伴わずに得られる。
- 参考スコア（独自算出の注目度）: 9.81463654618448
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, different types of distributed and parallel learning schemes have received increasing attention for their strong advantages in handling large-scale data information. In the information era, to face the big data challenges {that} stem from functional data analysis very recently, we propose a novel distributed gradient descent functional learning (DGDFL) algorithm to tackle functional data across numerous local machines (processors) in the framework of reproducing kernel Hilbert space. Based on integral operator approaches, we provide the first theoretical understanding of the DGDFL algorithm in many different aspects of the literature. On the way of understanding DGDFL, firstly, a data-based gradient descent functional learning (GDFL) algorithm associated with a single-machine model is proposed and comprehensively studied. Under mild conditions, confidence-based optimal learning rates of DGDFL are obtained without the saturation boundary on the regularity index suffered in previous works in functional regression. We further provide a semi-supervised DGDFL approach to weaken the restriction on the maximal number of local machines to ensure optimal rates. To our best knowledge, the DGDFL provides the first divide-and-conquer iterative training approach to functional learning based on data samples of intrinsically infinite-dimensional random functions (functional covariates) and enriches the methodologies for functional data analysis.
- Abstract（参考訳）: 近年,大規模データ情報を扱う上での強みとして,分散学習と並列学習の多種多様な手法が注目されている。
情報時代において,関数型データ解析から得られたビッグデータ問題に直面するために,カーネル・ヒルベルト空間を再現するフレームワークにおいて,多数のローカルマシン(プロセッサ)にまたがる関数型データに取り組むために,分散勾配勾配関数型学習(DGDFL)アルゴリズムを提案する。
積分作用素のアプローチに基づいて、DGDFLアルゴリズムを文献の様々な側面において初めて理論的に理解する。
まず、DGDFLを理解するために、データに基づく勾配降下関数学習(GDFL)アルゴリズムを提案し、包括的に研究した。
軽度条件下では、DGDFLの信頼に基づく最適学習速度は、機能回帰における以前の研究で被った正則性指数の飽和境界を伴わずに得られる。
さらに、ローカルマシンの最大数の制限を弱め、最適なレートを確保するための半教師付きDGDFLアプローチを提供する。
我々の知る限り、DGDFLは、内在的に無限次元のランダム関数(関数共変量)のデータサンプルに基づいて関数型学習に最初の分割・連立学習アプローチを提供し、関数型データ解析の方法論を充実させる。
関連論文リスト
- Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary
Data [100.33096338195723]
補助データを用いたFew-shot Learning(FLAD)に焦点を当てる。
FLADは、一般化を改善するために、数ショットの学習中に補助データへのアクセスを前提としている。
提案するアルゴリズムは EXP3-FLAD と UCB1-FLAD の2つである。
論文 参考訳（メタデータ） (2023-02-01T18:59:36Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳（メタデータ） (2022-10-03T07:59:42Z) - On Hypothesis Transfer Learning of Functional Linear Models [8.557392136621894]
再生カーネル空間(RKHS)フレームワークを用いて,関数線形回帰(FLR)のための伝達学習(TL)について検討する。
我々は、RKHS距離を用いてタスク間の類似度を測定し、RKHSの特性に関連付けられた情報の転送を行う。
2つのアルゴリズムが提案され、1つは正のソースが分かっているときに転送を行い、もう1つはアグリゲーションを利用してソースに関する事前情報なしでロバストな転送を行う。
論文 参考訳（メタデータ） (2022-06-09T04:50:16Z) - Deep Neural Network Classifier for Multi-dimensional Functional Data [4.340040784481499]
我々は,多次元関数型データを分類するFDNN(Functional Deep Neural Network)と呼ばれる新しい手法を提案する。
具体的には、将来のデータ関数のクラスラベルを予測するために使用されるトレーニングデータの原則コンポーネントに基づいて、ディープニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2022-05-17T19:22:48Z) - Fast Reinforcement Learning with Incremental Gaussian Mixture Models [0.0]
Incrmental Gaussian Mixture Network (IGMN)と呼ばれる単一パスから学習可能なオンラインおよびインクリメンタルなアルゴリズムが、結合状態とQ値空間のためのサンプル効率関数近似器として採用された。
IGMN関数近似器の使用は、勾配降下法で訓練された従来のニューラルネットワークと比較して、強化学習に重要な利点をもたらすことが観察された。
論文 参考訳（メタデータ） (2020-11-02T03:18:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。