論文の概要: Sharp Generalization of Transductive Learning: A Transductive Local
Rademacher Complexity Approach
- arxiv url: http://arxiv.org/abs/2309.16858v1
- Date: Thu, 28 Sep 2023 21:21:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 16:17:44.478578
- Title: Sharp Generalization of Transductive Learning: A Transductive Local
Rademacher Complexity Approach
- Title(参考訳): トランスダクティブ学習のシャープな一般化--トランスダクティブ局所ラデマッハ複雑性アプローチ
- Authors: Yingzhen Yang
- Abstract要約: 本稿では,Transductive Local Rademacher Complexity (TLRC, Transductive Local Rademacher Complexity)を提案する。
我々は、カーネル関数によってテストデータのラベルが生成されるTransductive Kernel Learning(TKL)モデルを分析するために、newCツールを使用します。
- 参考スコア(独自算出の注目度): 8.130817534654089
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a new tool, Transductive Local Rademacher Complexity (TLRC), to
analyze the generalization performance of transductive learning methods and
motivate new transductive learning algorithms. Our work extends the idea of the
popular Local Rademacher Complexity (LRC) to the transductive setting with
considerable changes compared to the analysis of typical LRC methods in the
inductive setting. We present a localized version of Rademacher complexity
based tool wihch can be applied to various transductive learning problems and
gain sharp bounds under proper conditions. Similar to the development of LRC,
we build TLRC by starting from a sharp concentration inequality for independent
variables with variance information. The prediction function class of a
transductive learning model is then divided into pieces with a sub-root
function being the upper bound for the Rademacher complexity of each piece, and
the variance of all the functions in each piece is limited. A carefully
designed variance operator is used to ensure that the bound for the test loss
on unlabeled test data in the transductive setting enjoys a remarkable
similarity to that of the classical LRC bound in the inductive setting. We use
the new TLRC tool to analyze the Transductive Kernel Learning (TKL) model,
where the labels of test data are generated by a kernel function. The result of
TKL lays the foundation for generalization bounds for two types of transductive
learning tasks, Graph Transductive Learning (GTL) and Transductive
Nonparametric Kernel Regression (TNKR). When the target function is
low-dimensional or approximately low-dimensional, we design low rank methods
for both GTL and TNKR, which enjoy particularly sharper generalization bounds
by TLRC which cannot be achieved by existing learning theory methods, to the
best of our knowledge.
- Abstract(参考訳): 本稿では、トランスダクティブ学習手法の一般化性能を分析し、新しいトランスダクティブ学習アルゴリズムを動機付ける新しいツール、Transductive Local Rademacher Complexity (TLRC)を紹介する。
我々の研究は、一般の局所ラドマチャー複雑度(LRC)の考え方を、インダクティブ・セッティングにおける典型的なLRC法の解析と比較してかなり変化したトランスダクティブ・セッティングへと拡張する。
本稿では,Rademacher複雑性に基づくツールウィッチの局所化バージョンを,様々なトランスダクティブ学習問題に適用し,適切な条件下での鋭い境界を求める。
LRCの開発と同様に、分散情報を持つ独立変数の急激な集中不等式から始めることでTLRCを構築する。
次に、トランスダクティブ学習モデルの予測関数クラスを、各ピースのラデマッハ複雑性の上限となる部分ルート関数で分割し、各ピース内のすべての関数の分散を制限する。
逐次的設定における未ラベルテストデータに対するテスト損失のバウンダリが、インダクティブ設定における古典的LRCのバウンダリと著しく類似していることを確認するために、慎重に設計された分散演算子を用いる。
我々は新しいTLRCツールを用いてTransductive Kernel Learning(TKL)モデルを解析し、カーネル関数によってテストデータのラベルが生成される。
tklの結果は、グラフトランスダクティブ学習(gtl)とトランスダクティブ非パラメトリックカーネル回帰(tnkr)という2種類のトランスダクティブ学習タスクの一般化境界の基礎となっている。
対象関数が低次元またはほぼ低次元の場合、既存の学習理論法では達成できないtlrcによるより鋭い一般化境界を、我々の知識の最高値に満たす、gtlとtnkrの両方の低階法を設計する。
関連論文リスト
- Spectrally Transformed Kernel Regression [44.77783584303742]
この研究はスペクトル変換されたカーネル回帰(STKR)という古典的な考え方を再考する。
我々はSTKRが「ターゲットの滑らかさ」の普遍型を特徴付けることによって、原則的で一般的なアプローチであることを示している。
我々は、既知のカーネル変換を持つSTKRと、その変換が未知のPCAを持つSTKRの2つのシナリオに対する統計的保証を導出する。
論文 参考訳(メタデータ) (2024-02-01T15:07:31Z) - Dynamic Residual Classifier for Class Incremental Learning [4.02487511510606]
古いクラスと新しいクラスの間に不均衡なサンプル番号があれば、学習はバイアスを受けることができる。
既存のCIL手法は、例えば、調整された損失やデータ再サンプリング手法など、Longtailed (LT) 認識技術を利用する。
この挑戦的なシナリオに対処するために、新しい動的残留適応(DRC)を提案する。
論文 参考訳(メタデータ) (2023-08-25T11:07:11Z) - Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level
Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。
任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文 参考訳(メタデータ) (2023-07-27T04:27:26Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳(メタデータ) (2023-06-07T17:59:31Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for
CTR Prediction [61.68415731896613]
CTR(Click-Through Rate)予測は、製品とコンテンツの推奨において重要なタスクである。
本稿では,CTR予測のための動的埋め込み学習を実現するモデルを提案する。
論文 参考訳(メタデータ) (2023-05-03T12:34:45Z) - Learning Functional Transduction [9.926231893220063]
そこで本研究では,トランスダクティブ回帰の原理を勾配降下によりメタ学習し,より効率的なインコンテキスト・ニューラル近似器を構築できることを示す。
我々は、データが少ない外部要因の影響を受け、複雑な物理システムをモデル化するためのメタ学習型トランスダクティブアプローチの利点を実証する。
論文 参考訳(メタデータ) (2023-02-01T09:14:28Z) - On Hypothesis Transfer Learning of Functional Linear Models [8.557392136621894]
再生カーネル空間(RKHS)フレームワークを用いて,関数線形回帰(FLR)のための伝達学習(TL)について検討する。
我々は、RKHS距離を用いてタスク間の類似度を測定し、RKHSの特性に関連付けられた情報の転送を行う。
2つのアルゴリズムが提案され、1つは正のソースが分かっているときに転送を行い、もう1つはアグリゲーションを利用してソースに関する事前情報なしでロバストな転送を行う。
論文 参考訳(メタデータ) (2022-06-09T04:50:16Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳(メタデータ) (2020-10-01T17:51:49Z) - Fast Estimation of Information Theoretic Learning Descriptors using
Explicit Inner Product Spaces [4.5497405861975935]
カーネル法は、信号処理や機械学習における非線形問題を解くため、理論的に座屈し、強力で汎用的な枠組みを形成する。
近年, NTカーネル適応フィルタ (KAF) を提案する。
我々は,内部積空間カーネルを用いたIPLの高速,スケーラブル,高精度な推定器群に着目した。
論文 参考訳(メタデータ) (2020-01-01T20:21:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。