論文の概要: Information-Theoretic Generalization Bounds for Transductive Learning
and its Applications
- arxiv url: http://arxiv.org/abs/2311.04561v1
- Date: Wed, 8 Nov 2023 09:48:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 16:28:20.743094
- Title: Information-Theoretic Generalization Bounds for Transductive Learning
and its Applications
- Title（参考訳）: トランスダクティブ学習のための情報理論一般化境界とその応用
- Authors: Huayi Tang and Yong Liu
- Abstract要約: 本研究では,トランスダクティブ学習アルゴリズムの一般化ギャップが,学習ラベルと仮説の相互情報によって制限されることを示す。
我々は,新しいPAC-ベイズ境界を導出し,帰納的学習環境下での一般化と損失景観平坦性の関係を構築した。
- 参考スコア（独自算出の注目度）: 19.38488372616499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we develop data-dependent and algorithm-dependent
generalization bounds for transductive learning algorithms in the context of
information theory for the first time. We show that the generalization gap of
transductive learning algorithms can be bounded by the mutual information
between training labels and hypothesis. By innovatively proposing the concept
of transductive supersamples, we go beyond the inductive learning setting and
establish upper bounds in terms of various information measures. Furthermore,
we derive novel PAC-Bayesian bounds and build the connection between
generalization and loss landscape flatness under the transductive learning
setting. Finally, we present the upper bounds for adaptive optimization
algorithms and demonstrate the applications of results on semi-supervised
learning and graph learning scenarios. Our theoretic results are validated on
both synthetic and real-world datasets.
- Abstract（参考訳）: 本稿では,情報理論の文脈において,トランスダクティブ学習アルゴリズムのためのデータ依存およびアルゴリズム依存の一般化境界を初めて開発する。
トランスダクティブ学習アルゴリズムの一般化ギャップは,学習ラベルと仮説の相互情報によって境界化できることを示す。
トランスダクティブスーパーサンプルの概念を革新的に提案することにより、私たちはインダクティブ学習の設定を超越し、様々な情報尺度の観点から上限を確立する。
さらに,新しいPAC-ベイズ境界を導出し,帰納的学習環境下での一般化と損失景観平坦性の関係を構築した。
最後に,適応最適化アルゴリズムの上限を示し,半教師付き学習およびグラフ学習シナリオにおける結果の適用例を示す。
我々の理論結果は、合成データセットと実世界のデータセットの両方で検証される。
関連論文リスト
- Transformation-Invariant Learning and Theoretical Guarantees for OOD Generalization [34.036655200677664]
本稿では、(データ)変換マップのクラスによって、列車とテストの分布を関連付けることができる分散シフト設定に焦点を当てる。
経験的リスク最小化(ERM)に対する学習ルールとアルゴリズムの削減を確立する。
我々は,学習ルールが分配シフトに関するゲーム理論的な視点を提供する点を強調した。
論文 参考訳（メタデータ） (2024-10-30T20:59:57Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文 参考訳（メタデータ） (2023-11-03T03:18:40Z) - Information Theoretic Lower Bounds for Information Theoretic Upper
Bounds [14.268363583731848]
コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。
本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。
既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
論文 参考訳（メタデータ） (2023-02-09T20:42:36Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - Label Propagation Through Optimal Transport [0.0]
本研究では,ラベル付きデータポイントのラベル予測を目的とした半教師付き半教師付き学習問題に取り組む。
提案手法は,様々な機械学習問題に対処するための数学的理論である最適輸送に基づく。
論文 参考訳（メタデータ） (2021-10-01T11:25:55Z) - A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。
合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。
我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
論文 参考訳（メタデータ） (2021-08-25T02:29:28Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳（メタデータ） (2021-08-11T21:17:02Z) - Perturbation Theory for the Information Bottleneck [6.117084972237769]
情報ボトルネック (IB) は、データから関連情報を抽出する手法である。
IB問題の非線形性は、一般に計算コストが高く解析的に難解である。
IB法に対する摂動理論を導出し,学習開始の完全な特徴を報告した。
論文 参考訳（メタデータ） (2021-05-28T16:59:01Z) - Information Complexity and Generalization Bounds [0.0]
ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。
本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
論文 参考訳（メタデータ） (2021-05-04T20:37:57Z) - Generalization Properties of Optimal Transport GANs with Latent
Distribution Learning [52.25145141639159]
本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。
我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
論文 参考訳（メタデータ） (2020-07-29T07:31:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。