論文の概要: Deep Transfer Learning: Model Framework and Error Analysis
- arxiv url: http://arxiv.org/abs/2410.09383v2
- Date: Tue, 31 Dec 2024 08:39:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-03 17:39:30.989665
- Title: Deep Transfer Learning: Model Framework and Error Analysis
- Title（参考訳）: Deep Transfer Learning: モデルフレームワークとエラー解析
- Authors: Yuling Jiao, Huazhen Lin, Yuchen Luo, Jerry Zhijian Yang,
- Abstract要約: 本稿では,単ドメインダウンストリームタスクに対して,サンプル$n$を多用したディープトランスファー学習のためのフレームワークを提案する。
本稿では,下流教師ありタスクにおけるリプシッツ関数の学習における収束率を大幅に向上させることができることを示す。
- 参考スコア（独自算出の注目度）: 4.898032902660655
- License:
- Abstract: This paper presents a framework for deep transfer learning, which aims to leverage information from multi-domain upstream data with a large number of samples $n$ to a single-domain downstream task with a considerably smaller number of samples $m$, where $m \ll n$, in order to enhance performance on downstream task. Our framework has several intriguing features. First, it allows the existence of both shared and specific features among multi-domain data and provides a framework for automatic identification, achieving precise transfer and utilization of information. Second, our model framework explicitly indicates the upstream features that contribute to downstream tasks, establishing a relationship between upstream domains and downstream tasks, thereby enhancing interpretability. Error analysis demonstrates that the transfer under our framework can significantly improve the convergence rate for learning Lipschitz functions in downstream supervised tasks, reducing it from $\tilde{O}(m^{-\frac{1}{2(d+2)}}+n^{-\frac{1}{2(d+2)}})$ ("no transfer") to $\tilde{O}(m^{-\frac{1}{2(d^*+3)}} + n^{-\frac{1}{2(d+2)}})$ ("partial transfer"), and even to $\tilde{O}(m^{-1/2}+n^{-\frac{1}{2(d+2)}})$ ("complete transfer"), where $d^* \ll d$ and $d$ is the dimension of the observed data. Our theoretical findings are substantiated by empirical experiments conducted on image classification datasets, along with a regression dataset.
- Abstract（参考訳）: 本稿では,大量のサンプル$n$を単一ドメインダウンストリームタスクに適用し,より少ないサンプル$m$でダウンストリームタスクの性能を高めることを目的とした,多ドメインアップストリームデータからの情報を活用するディープトランスファー学習フレームワークを提案する。
私たちのフレームワークにはいくつかの興味深い機能があります。
第一に、マルチドメインデータ間での共有機能と特定の機能の両方の存在を可能にし、情報の正確な転送と利用を実現する自動識別のためのフレームワークを提供する。
第2に、我々のモデルフレームワークは、下流タスクに寄与する上流機能を明確に示し、上流ドメインと下流タスクの関係を確立し、解釈可能性を高める。
誤り解析により、我々のフレームワークの下の変換は、下流教師付きタスクにおけるリプシッツ関数の学習の収束率を著しく向上させ、$\tilde{O}(m^{-\frac{1}{2(d+2)}}+n^{-\frac{1}{2(d+2)}})$(no transfer)から$\tilde{O}(m^{-\frac{1}{2(d^*+3)}} +n^{-\frac{1}{2(d+2)}})$(partial transfer)、$\tilde{O}(m^{-1/2}+n^{-\frac{1}{2(d+2)}})$(complete transfer)へ還元する。
画像分類データセットと回帰データセットを用いて実験を行った。
関連論文リスト
- A Statistical Analysis of Deep Federated Learning for Intrinsically Low-dimensional Data [32.98264375121064]
Federated Learning (FL)は、協調機械学習における画期的なパラダイムとして登場した。
本稿では,2段階サンプリングモデルにおけるディープフェデレート回帰の一般化特性について検討する。
論文 参考訳（メタデータ） (2024-10-28T01:36:25Z) - Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization [65.8915778873691]
条件分布は機械学習の中心的な問題です
ペアデータとペアデータの両方を統合する新しい学習パラダイムを提案する。
我々のアプローチはまた、興味深いことに逆エントロピー最適輸送(OT)と結びついている。
論文 参考訳（メタデータ） (2024-10-03T16:12:59Z) - Scaling Distributed Multi-task Reinforcement Learning with Experience
Sharing [38.883540444516605]
DARPAはShELLプログラムを立ち上げた。これは、経験共有が分散生涯学習エージェントにどのように役立つかを探求することを目的としている。
分散マルチタスク強化学習(RL)の理論的および実証的研究を行い、N$エージェントのグループがM$タスクを協調的に解決する。
我々はDistMT-LSVIと呼ばれるアルゴリズムを提案し、各エージェントは独立に$epsilon$-optimal Policyを全ての$M$タスクに対して学習する。
論文 参考訳（メタデータ） (2023-07-11T22:58:53Z) - Data Structures for Density Estimation [66.36971978162461]
p$のサブリニア数($n$)が与えられた場合、主な結果は$k$のサブリニアで$v_i$を識別する最初のデータ構造になります。
また、Acharyaなどのアルゴリズムの改良版も提供します。
論文 参考訳（メタデータ） (2023-06-20T06:13:56Z) - Multi-Task Imitation Learning for Linear Dynamical Systems [50.124394757116605]
線形システム上での効率的な模倣学習のための表現学習について検討する。
学習対象ポリシーによって生成された軌道上の模倣ギャップは、$tildeOleft(frack n_xHN_mathrmshared + frack n_uN_mathrmtargetright)$で制限されている。
論文 参考訳（メタデータ） (2022-12-01T00:14:35Z) - Blessing of Class Diversity in Pre-training [54.335530406959435]
事前学習タスクのクラスが十分に多種多様である場合、事前学習は下流タスクのサンプル効率を大幅に向上させることができることを示す。
我々の証明は、合成関数クラスに対するベクトル形式ラデマッハ複雑性連鎖則と修正自己調和条件に依存している。
論文 参考訳（メタデータ） (2022-09-07T20:10:12Z) - Distributed Sparse Feature Selection in Communication-Restricted
Networks [6.9257380648471765]
疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。
データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
論文 参考訳（メタデータ） (2021-11-02T05:02:24Z) - An Improved Transfer Model: Randomized Transferable Machine [32.50263074872975]
そこで本研究では,Randomized Transferable Machine (RTM) と呼ばれる新しいトランスファーモデルを提案する。
具体的には,既存の特徴量に基づく転送手法から得られた新たなソースとターゲットデータについて検討する。
原則として、汚職が多くなるほど、新しいターゲットデータの確率が高くなると、構築されたソースデータ人口でカバーできる。
論文 参考訳（メタデータ） (2020-11-27T09:37:01Z) - On the Theory of Transfer Learning: The Importance of Task Diversity [114.656572506859]
一般的な関数クラス$mathcalF circ MathcalH$において、$f_j circ h$という形の関数によってパラメータ化される$t+1$タスクを考える。
多様なトレーニングタスクに対して、最初の$t$のトレーニングタスク間で共有表現を学ぶのに必要なサンプルの複雑さが、$C(mathcalH) + t C(mathcalF)$であることを示す。
論文 参考訳（メタデータ） (2020-06-20T20:33:59Z) - Automatic Cross-Domain Transfer Learning for Linear Regression [0.0]
本稿では,線形回帰問題に対する伝達学習能力の拡張を支援する。
通常のデータセットでは、移行学習に潜伏したドメイン情報が利用できると仮定する。
論文 参考訳（メタデータ） (2020-05-08T15:05:37Z) - Few-Shot Learning via Learning the Representation, Provably [115.7367053639605]
本稿では,表現学習による少数ショット学習について検討する。
1つのタスクは、ターゲットタスクのサンプルの複雑さを減らすために、$T$ソースタスクと$n_1$データを使用して表現を学習する。
論文 参考訳（メタデータ） (2020-02-21T17:30:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。