論文の概要: Sharp Generalization of Transductive Learning: A Transductive Local
Rademacher Complexity Approach
- arxiv url: http://arxiv.org/abs/2309.16858v1
- Date: Thu, 28 Sep 2023 21:21:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 16:17:44.478578
- Title: Sharp Generalization of Transductive Learning: A Transductive Local
Rademacher Complexity Approach
- Title（参考訳）: トランスダクティブ学習のシャープな一般化--トランスダクティブ局所ラデマッハ複雑性アプローチ
- Authors: Yingzhen Yang
- Abstract要約: 本稿では,Transductive Local Rademacher Complexity (TLRC, Transductive Local Rademacher Complexity)を提案する。
我々は、カーネル関数によってテストデータのラベルが生成されるTransductive Kernel Learning(TKL)モデルを分析するために、newCツールを使用します。
- 参考スコア（独自算出の注目度）: 8.130817534654089
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a new tool, Transductive Local Rademacher Complexity (TLRC), to
analyze the generalization performance of transductive learning methods and
motivate new transductive learning algorithms. Our work extends the idea of the
popular Local Rademacher Complexity (LRC) to the transductive setting with
considerable changes compared to the analysis of typical LRC methods in the
inductive setting. We present a localized version of Rademacher complexity
based tool wihch can be applied to various transductive learning problems and
gain sharp bounds under proper conditions. Similar to the development of LRC,
we build TLRC by starting from a sharp concentration inequality for independent
variables with variance information. The prediction function class of a
transductive learning model is then divided into pieces with a sub-root
function being the upper bound for the Rademacher complexity of each piece, and
the variance of all the functions in each piece is limited. A carefully
designed variance operator is used to ensure that the bound for the test loss
on unlabeled test data in the transductive setting enjoys a remarkable
similarity to that of the classical LRC bound in the inductive setting. We use
the new TLRC tool to analyze the Transductive Kernel Learning (TKL) model,
where the labels of test data are generated by a kernel function. The result of
TKL lays the foundation for generalization bounds for two types of transductive
learning tasks, Graph Transductive Learning (GTL) and Transductive
Nonparametric Kernel Regression (TNKR). When the target function is
low-dimensional or approximately low-dimensional, we design low rank methods
for both GTL and TNKR, which enjoy particularly sharper generalization bounds
by TLRC which cannot be achieved by existing learning theory methods, to the
best of our knowledge.
- Abstract（参考訳）: 本稿では、トランスダクティブ学習手法の一般化性能を分析し、新しいトランスダクティブ学習アルゴリズムを動機付ける新しいツール、Transductive Local Rademacher Complexity (TLRC)を紹介する。
我々の研究は、一般の局所ラドマチャー複雑度(LRC)の考え方を、インダクティブ・セッティングにおける典型的なLRC法の解析と比較してかなり変化したトランスダクティブ・セッティングへと拡張する。
本稿では,Rademacher複雑性に基づくツールウィッチの局所化バージョンを,様々なトランスダクティブ学習問題に適用し,適切な条件下での鋭い境界を求める。
LRCの開発と同様に、分散情報を持つ独立変数の急激な集中不等式から始めることでTLRCを構築する。
次に、トランスダクティブ学習モデルの予測関数クラスを、各ピースのラデマッハ複雑性の上限となる部分ルート関数で分割し、各ピース内のすべての関数の分散を制限する。
逐次的設定における未ラベルテストデータに対するテスト損失のバウンダリが、インダクティブ設定における古典的LRCのバウンダリと著しく類似していることを確認するために、慎重に設計された分散演算子を用いる。
我々は新しいTLRCツールを用いてTransductive Kernel Learning(TKL)モデルを解析し、カーネル関数によってテストデータのラベルが生成される。
tklの結果は、グラフトランスダクティブ学習(gtl)とトランスダクティブ非パラメトリックカーネル回帰(tnkr)という2種類のトランスダクティブ学習タスクの一般化境界の基礎となっている。
対象関数が低次元またはほぼ低次元の場合、既存の学習理論法では達成できないtlrcによるより鋭い一般化境界を、我々の知識の最高値に満たす、gtlとtnkrの両方の低階法を設計する。
関連論文リスト
- An In-depth Investigation of Sparse Rate Reduction in Transformer-like Models [32.04194224236952]
スパースレートリダクション(SRR)と呼ばれる情報理論目的関数を提案する。
SRRは正の相関係数を持ち、パスノルムやシャープネスベースなど他の基準値よりも優れていることを示す。
ベンチマーク画像分類データセットの正規化として,SRRを用いて一般化を改善することができることを示す。
論文 参考訳（メタデータ） (2024-11-26T07:44:57Z) - Provable Risk-Sensitive Distributional Reinforcement Learning with
General Function Approximation [54.61816424792866]
本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。
モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
論文 参考訳（メタデータ） (2024-02-28T08:43:18Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Provably Convergent Data-Driven Convex-Nonconvex Regularization [4.1091334028843445]
敵対的問題を解決するための新たなパラダイムは、データから正規化子を学ぶためにディープラーニングを使用することだ。
これは高品質な結果をもたらすが、しばしばコンベックスノンCNNの証明可能なネットワークのコストで逆になる。
正規化フレームワークが凸非CNN内でどのように収束するかを示す。
論文 参考訳（メタデータ） (2023-10-09T15:52:59Z) - Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level
Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。
任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文 参考訳（メタデータ） (2023-07-27T04:27:26Z) - Hypothesis Transfer Learning with Surrogate Classification Losses:
Generalization Bounds through Algorithmic Stability [3.908842679355255]
仮説伝達学習(HTL)は、以前のタスクレバレッジを新たなターゲットにすることで、ドメイン適応と対比する。
本稿では,機械学習アルゴリズム解析のための魅力的な理論フレームワークであるアルゴリズム安定性によるHTLの学習理論について検討する。
論文 参考訳（メタデータ） (2023-05-31T09:38:21Z) - STEERING: Stein Information Directed Exploration for Model-Based
Reinforcement Learning [111.75423966239092]
遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。
KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
論文 参考訳（メタデータ） (2023-01-28T00:49:28Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳（メタデータ） (2022-09-19T18:48:00Z) - Distributionally Robust Federated Averaging [19.875176871167966]
適応サンプリングを用いた堅牢な学習周期平均化のためのコミュニケーション効率の高い分散アルゴリズムを提案する。
我々は、フェデレーション学習環境における理論的結果に関する実験的証拠を裏付ける。
論文 参考訳（メタデータ） (2021-02-25T03:32:09Z) - Derivative-Free Policy Optimization for Risk-Sensitive and Robust
Control Design: Implicit Regularization and Sample Complexity [15.940861063732608]
直接政策検索は、現代の強化学習(RL)の作業馬の1つとして役立ちます。
線形リスク感知型ロバストコントローラにおける政策ロバスト性(PG)手法の収束理論について検討する。
私たちのアルゴリズムの特徴の1つは、学習フェーズ中に特定のレベルの複雑さ/リスク感受性コントローラが保持されるということです。
論文 参考訳（メタデータ） (2021-01-04T16:00:46Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。