Fugu-MT 論文翻訳(概要): Smoothness Adaptive Hypothesis Transfer Learning

論文の概要: Smoothness Adaptive Hypothesis Transfer Learning

arxiv url: http://arxiv.org/abs/2402.14966v1
Date: Thu, 22 Feb 2024 21:02:19 GMT
ステータス: 処理完了
システム内更新日: 2024-02-26 16:31:20.417026
Title: Smoothness Adaptive Hypothesis Transfer Learning
Title（参考訳）: 滑らかさ適応型仮説伝達学習
Authors: Haotian Lin, Matthew Reimherr
Abstract要約: Smoothness Adaptive Transfer Learning (SATL) は、2相のカーネルリッジ回帰(KRR)に基づくアルゴリズムである。我々はまず、ターゲットのみのKRR学習において、不特定な固定帯域幅ガウスカーネルを用いることで、最小限の最適性が得られることを証明した。我々は,学習問題の極小境界を過度なリスクで導出し,SATLが対数係数までの一致した上限を享受していることを示す。
参考スコア（独自算出の注目度）: 8.557392136621894
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Many existing two-phase kernel-based hypothesis transfer learning algorithms employ the same kernel regularization across phases and rely on the known smoothness of functions to obtain optimality. Therefore, they fail to adapt to the varying and unknown smoothness between the target/source and their offset in practice. In this paper, we address these problems by proposing Smoothness Adaptive Transfer Learning (SATL), a two-phase kernel ridge regression(KRR)-based algorithm. We first prove that employing the misspecified fixed bandwidth Gaussian kernel in target-only KRR learning can achieve minimax optimality and derive an adaptive procedure to the unknown Sobolev smoothness. Leveraging these results, SATL employs Gaussian kernels in both phases so that the estimators can adapt to the unknown smoothness of the target/source and their offset function. We derive the minimax lower bound of the learning problem in excess risk and show that SATL enjoys a matching upper bound up to a logarithmic factor. The minimax convergence rate sheds light on the factors influencing transfer dynamics and demonstrates the superiority of SATL compared to non-transfer learning settings. While our main objective is a theoretical analysis, we also conduct several experiments to confirm our results.
Abstract（参考訳）: 既存の2相カーネルベースの仮説伝達学習アルゴリズムの多くは、位相間で同じカーネル正則化を採用し、最適性を得るために既知の関数の滑らかさに依存している。そのため、実際にはターゲット/ソースとオフセットの間の様々な、未知の滑らかさに適応できない。本稿では,二相核リッジ回帰(krr)に基づくアルゴリズムであるsmo smoothness adaptive transfer learning(satl)を提案する。まず,ターゲットのみkrr学習における不特定固定帯域のガウスカーネルを用いることで,最小最適性を達成し,未知のソボレフ滑らか性に対する適応手順を導出できることを証明した。これらの結果を活用することで、SATLはガウス核を両相で採用し、推定器はターゲット/ソースの未知の滑らかさとそのオフセット関数に適応できる。我々は,学習問題の極小境界を過度なリスクで導出し,SATLが対数係数までの一致した上限を享受していることを示す。ミニマックス収束速度は、伝達動力学に影響を与える因子に光を当て、非伝達学習設定と比較してsatlの優位を示す。我々の主な目的は理論分析であるが、その結果を確認するためにいくつかの実験も実施している。

関連論文リスト

Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文参考訳（メタデータ） (2024-10-22T10:19:27Z)
Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
論文参考訳（メタデータ） (2024-06-28T02:56:22Z)
The High Line: Exact Risk and Learning Rate Curves of Stochastic Adaptive Learning Rate Algorithms [8.681909776958184]
本研究では,高次元最適化問題の大規模なクラスにおいて,学習速度と学習速度のダイナミクスを解析するためのフレームワークを開発する。我々は、ODEのシステムに対する決定論的解という観点から、リスクと学習率曲線の正確な表現を与える。最小二乗問題に対する最適正則線探索とAdaGrad-Normの2つの適応学習率について詳細に検討する。
論文参考訳（メタデータ） (2024-05-30T00:27:52Z)
Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization [10.009748368458409]
本稿では、(構造化された)空間性に対して、明示的に正規化された目的を円滑に最適化するためのフレームワークを提案する。提案手法は,完全微分可能近似自由最適化を実現し,深層学習におけるユビキタス勾配降下パラダイムと互換性がある。
論文参考訳（メタデータ） (2023-07-07T13:06:12Z)
On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文参考訳（メタデータ） (2022-02-28T13:01:04Z)
Local AdaGrad-Type Algorithm for Stochastic Convex-Concave Minimax Problems [80.46370778277186]
大規模凸凹型ミニマックス問題は、ゲーム理論、堅牢なトレーニング、生成的敵ネットワークのトレーニングなど、多くの応用で発生する。通信効率のよい分散外グレードアルゴリズムであるLocalAdaSientを開発した。サーバモデル。等質な環境と異質な環境の両方において,その有効性を実証する。
論文参考訳（メタデータ） (2021-06-18T09:42:05Z)
High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文参考訳（メタデータ） (2021-06-10T17:54:21Z)
Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文参考訳（メタデータ） (2021-04-09T14:50:59Z)
Towards Understanding Label Smoothing [36.54164997035046]
ラベルスムーズな正規化(LSR)は、トレーニングアルゴリズムによるディープニューラルネットワークにおいて大きな成功を収めている。適切なLSRが分散を減少させることで収束を加速することを示す。本稿では,TSLA(Two-Stage LAbel smoothing algorithm)を提案する。
論文参考訳（メタデータ） (2020-06-20T20:36:17Z)
Learning Rates as a Function of Batch Size: A Random Matrix Theory Approach to Neural Network Training [2.9649783577150837]
スパイクされたフィールド依存ランダム行列理論を用いて, ニューラルネットの損失景観に及ぼすミニバッチの影響について検討した。我々は、スムーズで非ニュートンディープニューラルネットワークのための最大降下および適応訓練規則の解析式を導出する。 VGG/ResNetおよびImageNetデータセットのクレームを検証する。
論文参考訳（メタデータ） (2020-06-16T11:55:45Z)
The Strength of Nesterov's Extrapolation in the Individual Convergence of Nonsmooth Optimization [0.0]
ネステロフの外挿は、非滑らかな問題に対して勾配降下法の個人収束を最適にする強さを持つことを証明している。提案手法は,設定の非滑らかな損失を伴って正規化学習タスクを解くためのアルゴリズムの拡張である。本手法は,大規模な1-正規化ヒンジロス学習問題の解法として有効である。
論文参考訳（メタデータ） (2020-06-08T03:35:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。