論文の概要: Information-Theoretic Generalization Bounds for Transductive Learning and its Applications

• arxiv url: http://arxiv.org/abs/2311.04561v3
• Date: Tue, 21 Jan 2025 02:18:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:18:10.115657
• Title: Information-Theoretic Generalization Bounds for Transductive Learning and its Applications
• Title（参考訳）: トランスダクティブ学習のための情報理論一般化境界とその応用
• Authors: Huayi Tang, Yong Liu,
• Abstract要約: 我々は情報理論とPAC-Bayesの文脈において,トランスダクティブ学習アルゴリズムの一般化境界を確立する。 まず,学習ラベル選択と仮説の相互情報により,帰納的一般化ギャップを制御できることを示す。 さらに、損失関数の型と、トレーニングおよびテストデータポイントの数について、より弱い仮定で、トランスダクティブなPAC-ベイジアン境界を確立する。
• 参考スコア（独自算出の注目度）: 16.408850979966623
• License:
• Abstract: In this paper, we establish generalization bounds for transductive learning algorithms in the context of information theory and PAC-Bayes, covering both the random sampling and the random splitting setting. First, we show that the transductive generalization gap can be controlled by the mutual information between training label selection and the hypothesis. Next, we propose the concept of transductive supersample and use it to derive transductive information-theoretic bounds involving conditional mutual information and different information measures. We further establish transductive PAC-Bayesian bounds with weaker assumptions on the type of loss function and the number of training and test data points. Lastly, we use the theoretical results to derive upper bounds for adaptive optimization algorithms under the transductive learning setting. We also apply them to semi-supervised learning and transductive graph learning scenarios, meanwhile validating the derived bounds by experiments on synthetic and real-world datasets.
• Abstract（参考訳）: 本稿では,情報理論とPAC-Bayesの文脈における帰納的学習アルゴリズムの一般化境界を確立し,ランダムサンプリングとランダムスプリッティング設定の両方をカバーする。 まず,学習ラベル選択と仮説の相互情報により,帰納的一般化ギャップを制御できることを示す。 次に、トランスダクティブ・スーパーサンプルの概念を提案し、条件付き相互情報と異なる情報測度を含むトランスダクティブ情報理論境界を導出する。 さらに、損失関数の型と、トレーニングおよびテストデータポイントの数について、より弱い仮定で、トランスダクティブなPAC-ベイズ境界を確立する。 最後に、この理論結果を用いて、帰納的学習環境下での適応最適化アルゴリズムの上限を導出する。 また、半教師付き学習やトランスダクティブグラフ学習のシナリオにも適用し、合成および実世界のデータセットの実験によって導出した境界を検証した。

関連論文リスト

• Transformation-Invariant Learning and Theoretical Guarantees for OOD Generalization [34.036655200677664]
  本稿では、(データ)変換マップのクラスによって、列車とテストの分布を関連付けることができる分散シフト設定に焦点を当てる。 経験的リスク最小化(ERM)に対する学習ルールとアルゴリズムの削減を確立する。 我々は,学習ルールが分配シフトに関するゲーム理論的な視点を提供する点を強調した。
  論文  参考訳（メタデータ） (2024-10-30T20:59:57Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• Information Theoretic Lower Bounds for Information Theoretic Upper Bounds [14.268363583731848]
  コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。 本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。 既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
  論文  参考訳（メタデータ） (2023-02-09T20:42:36Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• Label Propagation Through Optimal Transport [0.0]
  本研究では,ラベル付きデータポイントのラベル予測を目的とした半教師付き半教師付き学習問題に取り組む。 提案手法は,様々な機械学習問題に対処するための数学的理論である最適輸送に基づく。
  論文  参考訳（メタデータ） (2021-10-01T11:25:55Z)
• A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
  合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。 合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。 我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
  論文  参考訳（メタデータ） (2021-08-25T02:29:28Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Perturbation Theory for the Information Bottleneck [6.117084972237769]
  情報ボトルネック (IB) は、データから関連情報を抽出する手法である。 IB問題の非線形性は、一般に計算コストが高く解析的に難解である。 IB法に対する摂動理論を導出し,学習開始の完全な特徴を報告した。
  論文  参考訳（メタデータ） (2021-05-28T16:59:01Z)
• Information Complexity and Generalization Bounds [0.0]
  ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。 本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
  論文  参考訳（メタデータ） (2021-05-04T20:37:57Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。