論文の概要: Information-Theoretic Generalization Bounds for Transductive Learning
and its Applications
- arxiv url: http://arxiv.org/abs/2311.04561v1
- Date: Wed, 8 Nov 2023 09:48:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 16:28:20.743094
- Title: Information-Theoretic Generalization Bounds for Transductive Learning
and its Applications
- Title(参考訳): トランスダクティブ学習のための情報理論一般化境界とその応用
- Authors: Huayi Tang and Yong Liu
- Abstract要約: 本研究では,トランスダクティブ学習アルゴリズムの一般化ギャップが,学習ラベルと仮説の相互情報によって制限されることを示す。
我々は,新しいPAC-ベイズ境界を導出し,帰納的学習環境下での一般化と損失景観平坦性の関係を構築した。
- 参考スコア(独自算出の注目度): 19.38488372616499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we develop data-dependent and algorithm-dependent
generalization bounds for transductive learning algorithms in the context of
information theory for the first time. We show that the generalization gap of
transductive learning algorithms can be bounded by the mutual information
between training labels and hypothesis. By innovatively proposing the concept
of transductive supersamples, we go beyond the inductive learning setting and
establish upper bounds in terms of various information measures. Furthermore,
we derive novel PAC-Bayesian bounds and build the connection between
generalization and loss landscape flatness under the transductive learning
setting. Finally, we present the upper bounds for adaptive optimization
algorithms and demonstrate the applications of results on semi-supervised
learning and graph learning scenarios. Our theoretic results are validated on
both synthetic and real-world datasets.
- Abstract(参考訳): 本稿では,情報理論の文脈において,トランスダクティブ学習アルゴリズムのためのデータ依存およびアルゴリズム依存の一般化境界を初めて開発する。
トランスダクティブ学習アルゴリズムの一般化ギャップは,学習ラベルと仮説の相互情報によって境界化できることを示す。
トランスダクティブスーパーサンプルの概念を革新的に提案することにより、私たちはインダクティブ学習の設定を超越し、様々な情報尺度の観点から上限を確立する。
さらに,新しいPAC-ベイズ境界を導出し,帰納的学習環境下での一般化と損失景観平坦性の関係を構築した。
最後に,適応最適化アルゴリズムの上限を示し,半教師付き学習およびグラフ学習シナリオにおける結果の適用例を示す。
我々の理論結果は、合成データセットと実世界のデータセットの両方で検証される。
関連論文リスト
- On the Generalization Capability of Temporal Graph Learning Algorithms:
Theoretical Insights and a Simpler Method [59.52204415829695]
テンポラルグラフ学習(TGL)は、様々な現実世界のアプリケーションにまたがる一般的なテクニックとなっている。
本稿では,異なるTGLアルゴリズムの一般化能力について検討する。
一般化誤差が小さく、全体的な性能が向上し、モデルの複雑さが低下する単純化されたTGLネットワークを提案する。
論文 参考訳(メタデータ) (2024-02-26T08:22:22Z) - Generalization Bounds: Perspectives from Information Theory and
PAC-Bayes [30.6461568538686]
PAC-Bayesianアプローチは、機械学習アルゴリズムの一般化機能に対処するための柔軟なフレームワークとして確立されている。
一般化に関する情報理論的な視点が発達し、一般化と様々な情報手段の関係が確立された。
本稿では,2つの視点が共通する手法と結果を提示し,異なるアプローチと解釈について議論する。
論文 参考訳(メタデータ) (2023-09-08T15:23:40Z) - Information Theoretic Lower Bounds for Information Theoretic Upper
Bounds [14.268363583731848]
コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。
本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。
既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
論文 参考訳(メタデータ) (2023-02-09T20:42:36Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳(メタデータ) (2022-11-14T08:51:04Z) - On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。
他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。
ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文 参考訳(メタデータ) (2022-07-01T17:58:29Z) - Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。
私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。
この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-11-27T07:36:32Z) - Information-theoretic generalization bounds for black-box learning
algorithms [46.44597430985965]
我々は,学習アルゴリズムの出力ではなく,予測に含まれる情報に基づいて,教師付き学習アルゴリズムに対する情報理論の一般化境界を導出する。
本研究では,ディープラーニングの実践シナリオにおいて,提案した境界が一般化ギャップに密接に従っていることを示す。
論文 参考訳(メタデータ) (2021-10-04T17:28:41Z) - Information Complexity and Generalization Bounds [0.0]
ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。
本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
論文 参考訳(メタデータ) (2021-05-04T20:37:57Z) - Learning While Dissipating Information: Understanding the Generalization
Capability of SGLD [9.328633662865682]
勾配ランゲヴィンダイナミクス(SGLD)を解析してアルゴリズム依存の一般化を導出する。
分析の結果,学習と情報伝達の複雑なトレードオフが明らかになった。
論文 参考訳(メタデータ) (2021-02-05T03:18:52Z) - Graph Representation Learning via Graphical Mutual Information
Maximization [86.32278001019854]
本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。
我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
論文 参考訳(メタデータ) (2020-02-04T08:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。