Fugu-MT 論文翻訳(概要): Understanding Transfer Learning via Mean-field Analysis

論文の概要: Understanding Transfer Learning via Mean-field Analysis

arxiv url: http://arxiv.org/abs/2410.17128v2
Date: Wed, 23 Oct 2024 06:51:54 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-24 09:54:56.237536
Title: Understanding Transfer Learning via Mean-field Analysis
Title（参考訳）: 平均場解析による伝達学習の理解
Authors: Gholamali Aminian, Łukasz Szpruch, Samuel N. Cohen,
Abstract要約: 我々は、KL規則化された経験的リスク最小化を用いて、$alpha$-ERMとファインチューニングの2つの主要なトランスファー学習シナリオを検討する。平均場状態における一層ニューラルネットワークを用いたトランスファーラーニングの利点を示す。
参考スコア（独自算出の注目度）: 5.7150083558242075
License:
Abstract: We propose a novel framework for exploring generalization errors of transfer learning through the lens of differential calculus on the space of probability measures. In particular, we consider two main transfer learning scenarios, $\alpha$-ERM and fine-tuning with the KL-regularized empirical risk minimization and establish generic conditions under which the generalization error and the population risk convergence rates for these scenarios are studied. Based on our theoretical results, we show the benefits of transfer learning with a one-hidden-layer neural network in the mean-field regime under some suitable integrability and regularity assumptions on the loss and activation functions.
Abstract（参考訳）: 本稿では,確率測度空間上の微分方程式のレンズによる移動学習の一般化誤差を探索する新しい枠組みを提案する。特に、KL規則化された経験的リスク最小化による細調整と、一般化誤差とこれらのシナリオに対する集団リスク収束率を調査する一般的な条件の確立という、2つの主要な移行学習シナリオについて考察する。理論的な結果から, 平均場状態における一層ニューラルネットワークによる伝達学習の利点を, 損失・活性化関数に対する適切な積分性と正規性仮定の下で示す。

関連論文リスト

Transformation-Invariant Learning and Theoretical Guarantees for OOD Generalization [34.036655200677664]
本稿では、(データ)変換マップのクラスによって、列車とテストの分布を関連付けることができる分散シフト設定に焦点を当てる。経験的リスク最小化(ERM)に対する学習ルールとアルゴリズムの削減を確立する。我々は,学習ルールが分配シフトに関するゲーム理論的な視点を提供する点を強調した。
論文参考訳（メタデータ） (2024-10-30T20:59:57Z)
Mean-field Analysis of Generalization Errors [1.1344265020822928]
KL-正則化経験的リスク最小化問題を考察し、一般化誤差収束率(英語版)が$n$のサンプルでトレーニングする場合は$mathcalO (1/n)$であるような一般的な条件を確立する。平均場状態における一層ニューラルネットワークによる教師あり学習の文脈では、これらの条件は、損失と活性化関数に対する適切な積分性と規則性仮定に反映される。
論文参考訳（メタデータ） (2023-06-20T15:49:09Z)
Hypothesis Transfer Learning with Surrogate Classification Losses: Generalization Bounds through Algorithmic Stability [3.908842679355255]
仮説伝達学習(HTL)は、以前のタスクレバレッジを新たなターゲットにすることで、ドメイン適応と対比する。本稿では,機械学習アルゴリズム解析のための魅力的な理論フレームワークであるアルゴリズム安定性によるHTLの学習理論について検討する。
論文参考訳（メタデータ） (2023-05-31T09:38:21Z)
An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization [52.44068740462729]
我々は、VICRegの目的に関する情報理論的な視点を示す。我々は、VICRegの一般化を導出し、下流タスクに固有の利点を明らかにした。既存のSSL技術よりも優れた情報理論の原理から派生したSSL手法のファミリーを紹介する。
論文参考訳（メタデータ） (2023-03-01T16:36:25Z)
Revisiting Deep Semi-supervised Learning: An Empirical Distribution Alignment Framework and Its Generalization Bound [97.93945601881407]
経験分布アライメントによる半教師あり学習(SLEDA)と呼ばれる深層半教師あり学習フレームワークを提案する。ラベル付きデータに対するトレーニング誤差を最小化することにより,半教師付き学習の一般化誤差を効果的にバウンドできることを示す。新しい枠組みと理論的境界に基づいて、Augmented Distribution Alignment Network(ADA-Net)と呼ばれるシンプルで効果的な深層半教師付き学習手法を開発した。
論文参考訳（メタデータ） (2022-03-13T11:59:52Z)
Characterizing and Understanding the Generalization Error of Transfer Learning with Gibbs Algorithm [10.851348154870854]
本稿では,ギブスに基づく移動学習アルゴリズムの一般化能力に関する情報理論解析を行う。本稿では,2段階のトランスファー学習アプローチである$alpha$-weightedERMと2段階ERMに着目した。
論文参考訳（メタデータ） (2021-11-02T14:49:48Z)
Learning with risks based on M-location [6.903929927172917]
損失分布の位置と偏差から定義されるリスクの新たなクラスについて検討する。クラスはスムーズな損失を取り巻くラッパーとして容易に実装されます。
論文参考訳（メタデータ） (2020-12-04T06:21:51Z)
Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文参考訳（メタデータ） (2020-10-16T17:45:08Z)
Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文参考訳（メタデータ） (2020-10-09T15:42:35Z)
A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
論文参考訳（メタデータ） (2020-07-08T11:35:47Z)
Learning Bounds for Risk-sensitive Learning [86.50262971918276]
リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
論文参考訳（メタデータ） (2020-06-15T05:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。