論文の概要: Wasserstein Transfer Learning
- arxiv url: http://arxiv.org/abs/2505.17404v1
- Date: Fri, 23 May 2025 02:38:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-26 18:08:33.77265
- Title: Wasserstein Transfer Learning
- Title(参考訳): Wasserstein Transfer Learning
- Authors: Kaicheng Zhang, Sinian Zhang, Doudou Zhou, Yidong Zhou,
- Abstract要約: 本稿では,ワッサーシュタイン空間に分布する確率分布を出力とする回帰モデルにおいて,伝達学習のための新しいフレームワークを提案する。
転送可能なソース領域の情報的部分集合が知られているとき、我々は、転送効率に対するドメイン類似性の影響を定量化する、証明可能な収束率を持つ推定器を提案する。
情報的サブセットが不明な場合には、負の転送を緩和するデータ駆動型転送学習手法を開発する。
- 参考スコア(独自算出の注目度): 2.7641833515562135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transfer learning is a powerful paradigm for leveraging knowledge from source domains to enhance learning in a target domain. However, traditional transfer learning approaches often focus on scalar or multivariate data within Euclidean spaces, limiting their applicability to complex data structures such as probability distributions. To address this, we introduce a novel framework for transfer learning in regression models, where outputs are probability distributions residing in the Wasserstein space. When the informative subset of transferable source domains is known, we propose an estimator with provable asymptotic convergence rates, quantifying the impact of domain similarity on transfer efficiency. For cases where the informative subset is unknown, we develop a data-driven transfer learning procedure designed to mitigate negative transfer. The proposed methods are supported by rigorous theoretical analysis and are validated through extensive simulations and real-world applications.
- Abstract(参考訳): トランスファーラーニングは、ソースドメインからの知識を活用し、ターゲットドメインでの学習を強化するための強力なパラダイムである。
しかし、従来の移動学習手法はユークリッド空間内のスカラーデータや多変量データに重点を置いており、確率分布のような複雑なデータ構造への適用性を制限している。
これを解決するために、我々は回帰モデルにおける伝達学習のための新しいフレームワークを導入し、出力はワッサーシュタイン空間に属する確率分布である。
伝達可能なソース領域の情報的部分集合が知られているとき、証明可能な漸近収束率を持つ推定器を提案し、転送効率に対するドメイン類似性の影響を定量化する。
情報的サブセットが不明な場合には、負の転送を緩和するデータ駆動型転送学習手法を開発する。
提案手法は厳密な理論解析によって支持され,広範囲なシミュレーションや実世界の応用を通じて検証される。
関連論文リスト
- Transfer Learning through Enhanced Sufficient Representation: Enriching Source Domain Knowledge with Target Data [2.308168896770315]
TESR(Enhanced Sufficient Representation)によるトランスファーラーニング(Transfer Learning)と呼ばれる新しいトランスファーラーニング手法を提案する。
私たちのアプローチは、ソースドメインから十分かつ不変な表現を推定することから始まります。
この表現は、ターゲットデータから派生した独立したコンポーネントで拡張され、ターゲットドメインに十分で、その特定の特性に適応できることが保証される。
論文 参考訳(メタデータ) (2025-02-22T13:18:28Z) - Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。
我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
論文 参考訳(メタデータ) (2024-04-04T06:24:11Z) - A Recent Survey of Heterogeneous Transfer Learning [15.830786437956144]
異種移動学習は 様々なタスクにおいて 重要な戦略となっている。
データベースとモデルベースの両方のアプローチを網羅した60以上のHTLメソッドの広範なレビューを提供する。
自然言語処理,コンピュータビジョン,マルチモーダル学習,バイオメディシンの応用について検討する。
論文 参考訳(メタデータ) (2023-10-12T16:19:58Z) - Estimation and inference for transfer learning with high-dimensional
quantile regression [3.4510296013600374]
本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。
我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。
データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
論文 参考訳(メタデータ) (2022-11-26T14:40:19Z) - Transfer Learning on Heterogeneous Feature Spaces for Treatment Effects
Estimation [103.55894890759376]
本稿では,不均一な特徴空間を扱うために表現学習を利用するビルディングブロックを紹介する。
本稿では,これらのビルディングブロックを用いて,標準CATE学習者の伝達学習の等価性を回復する方法を示す。
論文 参考訳(メタデータ) (2022-10-08T16:41:02Z) - On Hypothesis Transfer Learning of Functional Linear Models [8.557392136621894]
再生カーネル空間(RKHS)フレームワークを用いて,関数線形回帰(FLR)のための伝達学習(TL)について検討する。
我々は、RKHS距離を用いてタスク間の類似度を測定し、RKHSの特性に関連付けられた情報の転送を行う。
2つのアルゴリズムが提案され、1つは正のソースが分かっているときに転送を行い、もう1つはアグリゲーションを利用してソースに関する事前情報なしでロバストな転送を行う。
論文 参考訳(メタデータ) (2022-06-09T04:50:16Z) - A Variational Bayesian Approach to Learning Latent Variables for
Acoustic Knowledge Transfer [55.20627066525205]
本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。
我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
論文 参考訳(メタデータ) (2021-10-16T15:54:01Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z) - What is being transferred in transfer learning? [51.6991244438545]
事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。
事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
論文 参考訳(メタデータ) (2020-08-26T17:23:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。