論文の概要: Information-Theoretic Generalization Bounds for Transductive Learning and its Applications
- arxiv url: http://arxiv.org/abs/2311.04561v2
- Date: Mon, 10 Jun 2024 06:50:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 04:47:59.410061
- Title: Information-Theoretic Generalization Bounds for Transductive Learning and its Applications
- Title（参考訳）: トランスダクティブ学習のための情報理論一般化境界とその応用
- Authors: Huayi Tang, Yong Liu,
- Abstract要約: 我々は情報理論とPAC-ベイジアン理論の文脈におけるトランスダクティブ学習アルゴリズムの一般化境界を開発する。
我々の理論結果は、合成データセットと実世界のデータセットの両方で検証される。
- 参考スコア（独自算出の注目度）: 16.408850979966623
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop generalization bounds for transductive learning algorithms in the context of information theory and PAC-Bayesian theory, covering both the random sampling setting and the random splitting setting. We show that the transductive generalization gap can be bounded by the mutual information between training labels selection and the hypothesis. By introducing the concept of transductive supersamples, we translate results depicted by various information measures from the inductive learning setting to the transductive learning setting. We further establish PAC-Bayesian bounds with weaker assumptions on the loss function and numbers of training and test data points. Finally, we present the upper bounds for adaptive optimization algorithms and demonstrate the applications of results on semi-supervised learning and graph learning scenarios. Our theoretic results are validated on both synthetic and real-world datasets.
- Abstract（参考訳）: 我々は,情報理論とPAC-ベイズ理論の文脈における帰納的学習アルゴリズムの一般化境界を開発し,ランダムサンプリング設定とランダムスプリッティング設定の両方をカバーした。
本研究では,学習ラベルの選択と仮説の相互情報により,帰納的一般化のギャップを埋めることができることを示す。
トランスダクティブ・スーパーサンプルの概念を導入することで,インダクティブ・ラーニング・セッティングからトランスダクティブ・ラーニング・セッティングへ,様々な情報尺度で表される結果を変換する。
さらに、損失関数とトレーニングおよびテストデータ点数に関する仮定が弱いPAC-Bayesian境界を確立する。
最後に、適応最適化アルゴリズムの上限を示し、半教師付き学習とグラフ学習のシナリオにおける結果の適用例を示す。
我々の理論結果は、合成データセットと実世界のデータセットの両方で検証される。
関連論文リスト
- Transformation-Invariant Learning and Theoretical Guarantees for OOD Generalization [34.036655200677664]
本稿では、(データ)変換マップのクラスによって、列車とテストの分布を関連付けることができる分散シフト設定に焦点を当てる。
経験的リスク最小化(ERM)に対する学習ルールとアルゴリズムの削減を確立する。
我々は,学習ルールが分配シフトに関するゲーム理論的な視点を提供する点を強調した。
論文 参考訳（メタデータ） (2024-10-30T20:59:57Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文 参考訳（メタデータ） (2023-11-03T03:18:40Z) - Information Theoretic Lower Bounds for Information Theoretic Upper
Bounds [14.268363583731848]
コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。
本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。
既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
論文 参考訳（メタデータ） (2023-02-09T20:42:36Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - Label Propagation Through Optimal Transport [0.0]
本研究では,ラベル付きデータポイントのラベル予測を目的とした半教師付き半教師付き学習問題に取り組む。
提案手法は,様々な機械学習問題に対処するための数学的理論である最適輸送に基づく。
論文 参考訳（メタデータ） (2021-10-01T11:25:55Z) - A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。
合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。
我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
論文 参考訳（メタデータ） (2021-08-25T02:29:28Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳（メタデータ） (2021-08-11T21:17:02Z) - Perturbation Theory for the Information Bottleneck [6.117084972237769]
情報ボトルネック (IB) は、データから関連情報を抽出する手法である。
IB問題の非線形性は、一般に計算コストが高く解析的に難解である。
IB法に対する摂動理論を導出し,学習開始の完全な特徴を報告した。
論文 参考訳（メタデータ） (2021-05-28T16:59:01Z) - Information Complexity and Generalization Bounds [0.0]
ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。
本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
論文 参考訳（メタデータ） (2021-05-04T20:37:57Z) - Generalization Properties of Optimal Transport GANs with Latent
Distribution Learning [52.25145141639159]
本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。
我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
論文 参考訳（メタデータ） (2020-07-29T07:31:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。