論文の概要: Generalization Guarantees for Representation Learning via Data-Dependent Gaussian Mixture Priors

• arxiv url: http://arxiv.org/abs/2502.15540v2
• Date: Wed, 19 Mar 2025 22:37:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 15:30:52.006798
• Title: Generalization Guarantees for Representation Learning via Data-Dependent Gaussian Mixture Priors
• Title（参考訳）: データ依存型ガウス混合による表現学習のための一般化保証
• Authors: Milad Sefidgaran, Abdellatif Zaidi, Piotr Krasnowski,
• Abstract要約: 我々は、表現学習型アルゴリズムの一般化誤差に基づいて、予測内およびテール境界を確立する。 本稿では,データ依存型ガウス混合を同時に学習し,それを正規化器として用いるための体系的アプローチを提案する。
• 参考スコア（独自算出の注目度）: 14.453654853392619
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We establish in-expectation and tail bounds on the generalization error of representation learning type algorithms. The bounds are in terms of the relative entropy between the distribution of the representations extracted from the training and "test'' datasets and a data-dependent symmetric prior, i.e., the Minimum Description Length (MDL) of the latent variables for the training and test datasets. Our bounds are shown to reflect the "structure" and "simplicity'' of the encoder and significantly improve upon the few existing ones for the studied model. We then use our in-expectation bound to devise a suitable data-dependent regularizer; and we investigate thoroughly the important question of the selection of the prior. We propose a systematic approach to simultaneously learning a data-dependent Gaussian mixture prior and using it as a regularizer. Interestingly, we show that a weighted attention mechanism emerges naturally in this procedure. Our experiments show that our approach outperforms the now popular Variational Information Bottleneck (VIB) method as well as the recent Category-Dependent VIB (CDVIB).
• Abstract（参考訳）: 我々は、表現学習型アルゴリズムの一般化誤差に基づいて、予測内およびテール境界を確立する。 この境界は、トレーニングと「テスト」データセットから抽出された表現の分布と、トレーニングとテストデータセットの潜伏変数の最小記述長(MDL)との相対エントロピーである。この境界は、エンコーダの「構造」と「単純性」を反映し、研究モデルの数少ない既存表現よりも大幅に改善されている。 そこで我々は,データ依存型正則化器を設計するために,予測外探索を用いて,事前選択の重要な課題を徹底的に検討する。 本稿では,データ依存型ガウス混合を同時に学習し,それを正規化器として用いるための体系的アプローチを提案する。 興味深いことに、この手順では、重み付けされた注意機構が自然に現れる。 提案手法は,最近のカテゴリー依存型VIB (CDVIB) と同様に,現在普及している変分情報ボトルネック (VIB) 法よりも優れていることを示す。

関連論文リスト

• Generalization Guarantees for Multi-View Representation Learning and Application to Regularization via Gaussian Product Mixture Prior [14.453654853392619]
  分散多視点表現学習の課題について検討する。 この問題において、$K$エージェントは、それぞれ異なる、おそらく統計的に相関した、ビューとそれから独立した抽出を適切な表現として観察する。
  論文  参考訳（メタデータ） (2025-04-25T16:07:39Z)
• Generalization is not a universal guarantee: Estimating similarity to training data with an ensemble out-of-distribution metric [0.09363323206192666]
  機械学習モデルの新しいデータへの一般化の失敗は、AIシステムの信頼性を制限する中核的な問題である。 本稿では、一般化可能性推定(SAGE)のための教師付きオートエンコーダを構築することにより、データの類似性を評価するための標準化されたアプローチを提案する。 モデル自体のトレーニングやテストデータセットのデータに適用しても,SAGEスコアのフィルタリング後にアウト・オブ・ボックスモデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-02-22T19:21:50Z)
• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  本研究では,(マルチモーダル)自己教師型表現学習のデータ予測タスクにおいて,連続領域における識別確率モデルについて検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。 MISが要求する条件付き確率密度の和を近似する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Adaptive Cholesky Gaussian Processes [7.684183064816171]
  本稿では,データの部分集合のみを考慮し,正確なガウス過程モデルを大規模データセットに適合させる手法を提案する。 我々のアプローチは、計算オーバーヘッドが少ない正確な推論中に、サブセットのサイズがフライで選択されるという点で新しくなっています。
  論文  参考訳（メタデータ） (2022-02-22T09:43:46Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Regularization of Mixture Models for Robust Principal Graph Learning [0.0]
  D$次元データポイントの分布から主グラフを学習するために,Mixture Modelsの正規化バージョンを提案する。 モデルのパラメータは期待最大化手順によって反復的に推定される。
  論文  参考訳（メタデータ） (2021-06-16T18:00:02Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Unshuffling Data for Improved Generalization [65.57124325257409]
  トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。 本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
  論文  参考訳（メタデータ） (2020-02-27T03:07:41Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。