論文の概要: Fine-grained Generalization Analysis of Vector-valued Learning
- arxiv url: http://arxiv.org/abs/2104.14173v1
- Date: Thu, 29 Apr 2021 07:57:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-30 13:11:50.340011
- Title: Fine-grained Generalization Analysis of Vector-valued Learning
- Title（参考訳）: ベクトル値学習の細粒度一般化解析
- Authors: Liang Wu, Antoine Ledent, Yunwen Lei, Marius Kloft
- Abstract要約: 正規化ベクトル値学習アルゴリズムの一般化解析を,出力次元に軽度依存する境界とサンプルサイズに高速速度を提示することで開始する。
最適化と学習の相互作用を理解するために、結果を使用して、ベクトル値関数による降下の最初の境界を導出します。
副生成物として、一般凸函数の項で定義される損失関数クラスに対してラデマッハ複雑性を導出する。
- 参考スコア（独自算出の注目度）: 28.722350261462463
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Many fundamental machine learning tasks can be formulated as a problem of
learning with vector-valued functions, where we learn multiple scalar-valued
functions together. Although there is some generalization analysis on different
specific algorithms under the empirical risk minimization principle, a unifying
analysis of vector-valued learning under a regularization framework is still
lacking. In this paper, we initiate the generalization analysis of regularized
vector-valued learning algorithms by presenting bounds with a mild dependency
on the output dimension and a fast rate on the sample size. Our discussions
relax the existing assumptions on the restrictive constraint of hypothesis
spaces, smoothness of loss functions and low-noise condition. To understand the
interaction between optimization and learning, we further use our results to
derive the first generalization bounds for stochastic gradient descent with
vector-valued functions. We apply our general results to multi-class
classification and multi-label classification, which yield the first bounds
with a logarithmic dependency on the output dimension for extreme multi-label
classification with the Frobenius regularization. As a byproduct, we derive a
Rademacher complexity bound for loss function classes defined in terms of a
general strongly convex function.
- Abstract（参考訳）: 多くの基本的な機械学習タスクはベクトル値関数で学習する問題として定式化することができ、複数のスカラー値関数を同時に学習する。
経験的リスク最小化原理の下では、異なる特定のアルゴリズムに関する一般化分析がいくつかあるが、正規化フレームワーク下でのベクトル値学習の統一解析はいまだに欠けている。
本稿では, 正規化ベクトル値学習アルゴリズムの一般化解析を, 出力次元に軽度に依存し, サンプルサイズに高速なバウンダリを提示することによって開始する。
本稿では,仮説空間の制約制約,損失関数の滑らかさ,低雑音条件に関する既存の仮定を緩和する。
さらに,最適化と学習の相互作用を理解するために,ベクトル値関数を用いた確率勾配降下に対する最初の一般化境界を導出する。
本研究は,Frobenius正則化を用いた極端多ラベル分類において,出力次元に対数依存を持つ最初の境界を生じる多クラス分類と多ラベル分類に適用する。
副生成物として、一般凸函数の項で定義される損失関数クラスに対してラデマッハ複雑性を導出する。
関連論文リスト
- Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms [28.046728466038022]
ベクトル値出力を持つ多種多様な正規化アルゴリズムの理論的特性について検討する。
ベクトル値出力によるリッジ回帰に対するいわゆる飽和効果を厳密に検証する。
有限サンプルリスク一般ベクトル値スペクトルアルゴリズムの上限について述べる。
論文 参考訳（メタデータ） (2024-05-23T16:45:52Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。
我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
論文 参考訳（メタデータ） (2023-05-31T08:13:14Z) - Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
既存の一般化誤差境界は負の例の数$k$に線形に依存する。
対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
論文 参考訳（メタデータ） (2023-02-24T01:03:56Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Information-Theoretic Generalization Bounds for Iterative
Semi-Supervised Learning [81.1071978288003]
特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。
我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
論文 参考訳（メタデータ） (2021-10-03T05:38:49Z) - Convergence bounds for nonlinear least squares and applications to
tensor recovery [0.0]
我々は、L2$-ノルムの重み付きモンテカルロ推定のみを計算できる場合、一般非線形部分集合である$L2$の関数を近似する問題を考える。
結果の批判的分析により、低ランクテンソルのモデル集合に対するサンプル効率の良いアルゴリズムを導出できる。
論文 参考訳（メタデータ） (2021-08-11T14:14:02Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Minimax Estimation of Linear Functions of Eigenvectors in the Face of
Small Eigen-Gaps [95.62172085878132]
固有ベクトル摂動解析は様々な統計データ科学の応用において重要な役割を果たす。
未知の固有ベクトルの任意の線型関数の摂動を特徴付ける統計理論の一組を開発する。
自然の「プラグイン」推定器に固有の非無視バイアス問題を緩和するために,非バイアス推定器を開発する。
論文 参考訳（メタデータ） (2021-04-07T17:55:10Z) - Optimistic bounds for multi-output prediction [6.015556590955814]
教師付きデータセットに基づいてベクトル値関数を学習することが目的であるマルチアウトプット学習の課題について検討する。
これには、マルチターゲット回帰、マルチクラス分類、マルチラベル分類など、機械学習におけるさまざまな重要な問題が含まれている。
自己有界リプシッツ条件は多出力学習において楽観的な境界を生じさせることを示す。
論文 参考訳（メタデータ） (2020-02-22T20:54:17Z) - Semi-supervised Vector-valued Learning: Improved Bounds and Algorithms [20.53130700587322]
カーネルの観点と線形視点の両方から一般ベクトル値学習のための新しい半教師付き過剰リスク境界を導出する。
理論解析により,ベクトル値関数を効率的に学習するための一般半教師付きアルゴリズムを提案する。
論文 参考訳（メタデータ） (2019-09-11T07:30:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。