論文の概要: On Hypothesis Transfer Learning of Functional Linear Models
- arxiv url: http://arxiv.org/abs/2206.04277v4
- Date: Thu, 22 Feb 2024 21:09:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 18:56:17.311200
- Title: On Hypothesis Transfer Learning of Functional Linear Models
- Title(参考訳): 関数線形モデルの仮説伝達学習について
- Authors: Haotian Lin, Matthew Reimherr
- Abstract要約: 再生カーネル空間(RKHS)フレームワークを用いて,関数線形回帰(FLR)のための伝達学習(TL)について検討する。
我々は、RKHS距離を用いてタスク間の類似度を測定し、RKHSの特性に関連付けられた情報の転送を行う。
2つのアルゴリズムが提案され、1つは正のソースが分かっているときに転送を行い、もう1つはアグリゲーションを利用してソースに関する事前情報なしでロバストな転送を行う。
- 参考スコア(独自算出の注目度): 8.557392136621894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the transfer learning (TL) for the functional linear regression
(FLR) under the Reproducing Kernel Hilbert Space (RKHS) framework, observing
the TL techniques in existing high-dimensional linear regression is not
compatible with the truncation-based FLR methods as functional data are
intrinsically infinite-dimensional and generated by smooth underlying
processes. We measure the similarity across tasks using RKHS distance, allowing
the type of information being transferred tied to the properties of the imposed
RKHS. Building on the hypothesis offset transfer learning paradigm, two
algorithms are proposed: one conducts the transfer when positive sources are
known, while the other leverages aggregation techniques to achieve robust
transfer without prior information about the sources. We establish lower bounds
for this learning problem and show the proposed algorithms enjoy a matching
asymptotic upper bound. These analyses provide statistical insights into
factors that contribute to the dynamics of the transfer. We also extend the
results to functional generalized linear models. The effectiveness of the
proposed algorithms is demonstrated on extensive synthetic data as well as a
financial data application.
- Abstract(参考訳): 再生カーネルヒルベルト空間(RKHS)における関数的線形回帰(FLR)のための伝達学習(TL)について検討し、関数的データが本質的に無限次元であり、滑らかな基底過程によって生成されるため、既存の高次元線形回帰におけるTL技術はトランケーションベースFLR法と互換性がないことを示した。
我々は、RKHS距離を用いてタスク間の類似度を測定し、RKHSの特性に関連付けられた情報の転送を行う。
仮説オフセット伝達学習パラダイムに基づいて、2つのアルゴリズムが提案されている: 1つは正のソースが知られているときに転送を行い、もう1つはソースに関する事前情報なしで堅牢な転送を達成するために集約技術を利用する。
この学習問題の下位境界を確立し,提案アルゴリズムが一致した漸近上界を楽しむことを示す。
これらの分析は、転移のダイナミクスに寄与する因子に関する統計的洞察を提供する。
また,その結果を関数型一般化線形モデルにも拡張した。
提案アルゴリズムの有効性は、金融データアプリケーションと同様に、広範囲な合成データに対して実証される。
関連論文リスト
- Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。
本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。
提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
論文 参考訳(メタデータ) (2024-05-28T15:36:48Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳(メタデータ) (2024-03-11T09:10:37Z) - Resource-Adaptive Newton's Method for Distributed Learning [16.588456212160928]
本稿では,Newtonの手法の限界を克服するRANLというアルゴリズムを提案する。
従来の一階法とは異なり、RANLは問題の条件数から著しく独立している。
論文 参考訳(メタデータ) (2023-08-20T04:01:30Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳(メタデータ) (2023-06-01T15:18:55Z) - Distributed Gradient Descent for Functional Learning [9.81463654618448]
我々は,カーネルヒルベルト空間を再現するフレームワークにおいて,多数のローカルマシン(プロセッサ)にまたがる関数データに取り組むために,分散勾配勾配関数学習(DGDFL)アルゴリズムを提案する。
軽度条件下では、DGDFLの信頼に基づく最適学習速度は、機能回帰における以前の研究で被った正則性指数の飽和境界を伴わずに得られる。
論文 参考訳(メタデータ) (2023-05-12T12:15:42Z) - Learning Functional Transduction [9.926231893220063]
そこで本研究では,トランスダクティブ回帰の原理を勾配降下によりメタ学習し,より効率的なインコンテキスト・ニューラル近似器を構築できることを示す。
我々は、データが少ない外部要因の影響を受け、複雑な物理システムをモデル化するためのメタ学習型トランスダクティブアプローチの利点を実証する。
論文 参考訳(メタデータ) (2023-02-01T09:14:28Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳(メタデータ) (2022-10-03T07:59:42Z) - Nonlinear Level Set Learning for Function Approximation on Sparse Data
with Applications to Parametric Differential Equations [6.184270985214254]
NLL(Nonlinear Level Set Learning)アプローチは、疎にサンプリングされた関数のポイントワイズ予測のために提示される。
提案アルゴリズムは, 精度の低い理論的下界への入力次元を効果的に低減する。
この修正されたNLLとオリジナルのNLLとActive Subspaces(AS)メソッドを比較する実験とアプリケーションを提示する。
論文 参考訳(メタデータ) (2021-04-29T01:54:05Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳(メタデータ) (2021-04-11T16:37:32Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。