Fugu-MT 論文翻訳(概要): Sharp Generalization of Transductive Learning: A Transductive Local Rademacher Complexity Approach

論文の概要: Sharp Generalization of Transductive Learning: A Transductive Local Rademacher Complexity Approach

arxiv url: http://arxiv.org/abs/2309.16858v2
Date: Mon, 27 May 2024 16:23:03 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 11:58:46.236183
Title: Sharp Generalization of Transductive Learning: A Transductive Local Rademacher Complexity Approach
Title（参考訳）: 帰納的学習のシャープ一般化--局所ラデマチャー複素性アプローチ
Authors: Yingzhen Yang,
Abstract要約: 本稿では,トランスダクティブ学習手法の一般化性能を解析するための新しいツールであるTransductive Local Complexity (TLC)を紹介する。我々の研究は、LRC(Local Rademacher Complexity)の概念をトランスダクティブ・セッティングに拡張しています。
参考スコア（独自算出の注目度）: 8.130817534654089
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce a new tool, Transductive Local Complexity (TLC), designed to analyze the generalization performance of transductive learning methods and inspire the development of new algorithms in this domain. Our work extends the concept of the popular Local Rademacher Complexity (LRC) to the transductive setting, incorporating significant and novel modifications compared to the typical analysis of LRC methods in the inductive setting. While LRC has been widely used as a powerful tool for analyzing inductive models, providing sharp generalization bounds for classification and minimax rates for nonparametric regression, it remains an open question whether a localized Rademacher complexity-based tool can be developed for transductive learning. Our goal is to achieve sharp bounds for transductive learning that align with the inductive excess risk bounds established by LRC. We provide a definitive answer to this open problem with the introduction of TLC. We construct TLC by first establishing a novel and sharp concentration inequality for the supremum of a test-train empirical processes. Using a peeling strategy and a new surrogate variance operator, we derive the a novel excess risk bound in the transductive setting which is consistent with the classical LRC-based excess risk bound in the inductive setting. As an application of TLC, we employ this new tool to analyze the Transductive Kernel Learning (TKL) model, deriving sharper excess risk bounds than those provided by the current state-of-the-art under the same assumptions. Additionally, the concentration inequality for the test-train process is employed to derive a sharp concentration inequality for the general supremum of empirical processes involving random variables in the setting of uniform sampling without replacement. The sharpness of our derived bound is compared to existing concentration inequalities under the same conditions.
Abstract（参考訳）: 本稿では,トランスダクティブ学習手法の一般化性能を分析し,この領域での新しいアルゴリズムの開発を促すための新しいツールであるTransductive Local Complexity (TLC)を紹介する。本研究は, 局所ラドマチャー複雑度(LRC)の概念をトランスダクティブ・セッティングに拡張し, インダクティブ・セッティングにおけるLRC手法の典型的解析と比較し, 重要な, 斬新な修正を取り入れたものである。 LRCは帰納的モデル解析の強力なツールとして広く用いられており、非パラメトリック回帰の分類とミニマックスレートの急激な一般化バウンダリを提供するが、ローカライズされたRademacher複雑性に基づくツールが帰納的学習のために開発できるかどうかには疑問が残る。我々のゴールは、RCが確立した帰納的過剰リスク境界と整合するトランスダクティブ学習の急激な限界を達成することである。 TLCの導入によって、このオープンな問題に対する決定的な答えが得られます。テストトレイン実験プロセスの上限に対して, 新規で鋭い濃度不等式を最初に確立することにより, TLCを構築した。剥離戦略と新しい代理分散演算子を用いて, 誘導条件における古典的LCCに基づく過剰リスクと整合した, トランスダクティブ設定における新しい過剰リスクを導出する。 TLCの適用例として,この新たなツールを用いてトランスダクティブカーネル学習(TKL)モデルを解析し,同じ仮定の下で現在最先端技術によって提供されるものよりもはるかに過大なリスク境界を導出する。さらに, テストトレイン法における濃度不等式は, 置換を伴わない一様サンプリングの設定において, ランダム変数を含む実験過程の一般超過に対して, 急激な濃度不等式を導出するために用いられる。我々の導出した境界の鋭さは、同じ条件下での既存の濃度不等式と比較される。

関連論文リスト

An In-depth Investigation of Sparse Rate Reduction in Transformer-like Models [32.04194224236952]
スパースレートリダクション(SRR)と呼ばれる情報理論目的関数を提案する。 SRRは正の相関係数を持ち、パスノルムやシャープネスベースなど他の基準値よりも優れていることを示す。ベンチマーク画像分類データセットの正規化として,SRRを用いて一般化を改善することができることを示す。
論文参考訳（メタデータ） (2024-11-26T07:44:57Z)
Provable Risk-Sensitive Distributional Reinforcement Learning with General Function Approximation [54.61816424792866]
本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
論文参考訳（メタデータ） (2024-02-28T08:43:18Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Provably Convergent Data-Driven Convex-Nonconvex Regularization [4.1091334028843445]
敵対的問題を解決するための新たなパラダイムは、データから正規化子を学ぶためにディープラーニングを使用することだ。これは高品質な結果をもたらすが、しばしばコンベックスノンCNNの証明可能なネットワークのコストで逆になる。正規化フレームワークが凸非CNN内でどのように収束するかを示す。
論文参考訳（メタデータ） (2023-10-09T15:52:59Z)
Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文参考訳（メタデータ） (2023-07-27T04:27:26Z)
Hypothesis Transfer Learning with Surrogate Classification Losses: Generalization Bounds through Algorithmic Stability [3.908842679355255]
仮説伝達学習(HTL)は、以前のタスクレバレッジを新たなターゲットにすることで、ドメイン適応と対比する。本稿では,機械学習アルゴリズム解析のための魅力的な理論フレームワークであるアルゴリズム安定性によるHTLの学習理論について検討する。
論文参考訳（メタデータ） (2023-05-31T09:38:21Z)
STEERING: Stein Information Directed Exploration for Model-Based Reinforcement Learning [111.75423966239092]
遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。 KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
論文参考訳（メタデータ） (2023-01-28T00:49:28Z)
Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文参考訳（メタデータ） (2022-09-19T18:48:00Z)
Distributionally Robust Federated Averaging [19.875176871167966]
適応サンプリングを用いた堅牢な学習周期平均化のためのコミュニケーション効率の高い分散アルゴリズムを提案する。我々は、フェデレーション学習環境における理論的結果に関する実験的証拠を裏付ける。
論文参考訳（メタデータ） (2021-02-25T03:32:09Z)
Derivative-Free Policy Optimization for Risk-Sensitive and Robust Control Design: Implicit Regularization and Sample Complexity [15.940861063732608]
直接政策検索は、現代の強化学習(RL)の作業馬の1つとして役立ちます。線形リスク感知型ロバストコントローラにおける政策ロバスト性(PG)手法の収束理論について検討する。私たちのアルゴリズムの特徴の1つは、学習フェーズ中に特定のレベルの複雑さ/リスク感受性コントローラが保持されるということです。
論文参考訳（メタデータ） (2021-01-04T16:00:46Z)
Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。