論文の概要: Generalization Guarantees for Multi-View Representation Learning and Application to Regularization via Gaussian Product Mixture Prior
- arxiv url: http://arxiv.org/abs/2504.18455v1
- Date: Fri, 25 Apr 2025 16:07:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.839245
- Title: Generalization Guarantees for Multi-View Representation Learning and Application to Regularization via Gaussian Product Mixture Prior
- Title（参考訳）: 多視点表現学習のための一般化保証とガウス積混合による正規化への応用
- Authors: Milad Sefidgaran, Abdellatif Zaidi, Piotr Krasnowski,
- Abstract要約: 分散多視点表現学習の課題について検討する。
この問題において、$K$エージェントは、それぞれ異なる、おそらく統計的に相関した、ビューとそれから独立した抽出を適切な表現として観察する。
- 参考スコア（独自算出の注目度）: 14.453654853392619
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of distributed multi-view representation learning. In this problem, $K$ agents observe each one distinct, possibly statistically correlated, view and independently extracts from it a suitable representation in a manner that a decoder that gets all $K$ representations estimates correctly the hidden label. In the absence of any explicit coordination between the agents, a central question is: what should each agent extract from its view that is necessary and sufficient for a correct estimation at the decoder? In this paper, we investigate this question from a generalization error perspective. First, we establish several generalization bounds in terms of the relative entropy between the distribution of the representations extracted from training and "test" datasets and a data-dependent symmetric prior, i.e., the Minimum Description Length (MDL) of the latent variables for all views and training and test datasets. Then, we use the obtained bounds to devise a regularizer; and investigate in depth the question of the selection of a suitable prior. In particular, we show and conduct experiments that illustrate that our data-dependent Gaussian mixture priors with judiciously chosen weights lead to good performance. For single-view settings (i.e., $K=1$), our experimental results are shown to outperform existing prior art Variational Information Bottleneck (VIB) and Category-Dependent VIB (CDVIB) approaches. Interestingly, we show that a weighted attention mechanism emerges naturally in this setting. Finally, for the multi-view setting, we show that the selection of the joint prior as a Gaussians product mixture induces a Gaussian mixture marginal prior for each marginal view and implicitly encourages the agents to extract and output redundant features, a finding which is somewhat counter-intuitive.
- Abstract（参考訳）: 分散多視点表現学習の課題について検討する。
この問題において、$K$エージェントは、それぞれ別々に、統計的に相関があり、ビューと独立に、それを適切な表現として抽出し、すべての$K$表現を得るデコーダが、隠されたラベルを正確に推定する。
エージェント間の明確な調整がない場合、中心的な疑問は、各エージェントは、デコーダの正確な推定に必要で十分である、そのビューから何を取り出すべきかである。
本稿では,この問題を一般化誤差の観点から検討する。
まず、トレーニングと"テスト"データセットから抽出した表現の分布と、すべてのビューとトレーニングおよびテストデータセットに対する潜在変数の最小記述長(MDL)という、データ依存対称先行値との相対エントロピーの観点から、いくつかの一般化境界を確立する。
次に、得られた境界を用いて正規化器を考案し、適切な事前選択の問題を深く調査する。
特に、我々のデータ依存型ガウス混合と、司法的に選択された重みが、優れた性能をもたらすことを示す実験を行ない、実施する。
単一ビュー設定(例えば$K=1$)では、実験結果は既存の変動情報ボトルネック(VIB)とカテゴリー依存VIB(CDVIB)のアプローチよりも優れていた。
興味深いことに、この設定では、重み付けされた注意機構が自然に現れる。
最後に、多視点設定において、ガウス積の混合として先行する接合の選択は、各境界ビューに対してガウス混合の辺りを誘導し、エージェントが冗長な特徴を抽出し出力することを暗黙的に促すことを示す。
関連論文リスト
- Heterogeneity Matters even More in Distributed Learning: Study from Generalization Perspective [14.480713752871523]
(K)クライアントは、潜在的に異なるデータ分布に応じて、それぞれ(n)のトレーニングサンプルを独立して生成する。
集約されたモデルの一般化誤差に及ぼすクライアントのデータ分布の相違の影響について検討する。
クライアント間のデータの均一性の度合いが高くなるにつれて、バウンダリが小さくなることが示されている。
論文 参考訳（メタデータ） (2025-03-03T14:33:38Z) - Generalization Guarantees for Representation Learning via Data-Dependent Gaussian Mixture Priors [14.453654853392619]
我々は、表現学習型アルゴリズムの一般化誤差に基づいて、予測内およびテール境界を確立する。
本稿では,データ依存型ガウス混合を同時に学習し,それを正規化器として用いるための体系的アプローチを提案する。
論文 参考訳（メタデータ） (2025-02-21T15:43:31Z) - Bayesian Joint Additive Factor Models for Multiview Learning [7.254731344123118]
マルチオミクスデータが収集され、臨床結果と相関する精度医学の文脈でモチベーション応用が生じる。
本稿では,共有およびビュー固有のコンポーネントを考慮に入れた,構造化された付加的設計を伴うJAFAR(Joint Additive Factor regression model)を提案する。
免疫,メタボローム,プロテオームデータから得られた時間とラベルの発症の予測は,最先端の競合相手に対するパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2024-06-02T15:35:45Z) - Graph Out-of-Distribution Generalization with Controllable Data
Augmentation [51.17476258673232]
グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。
トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。
仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
論文 参考訳（メタデータ） (2023-08-16T13:10:27Z) - Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。
iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。
我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-08-08T17:56:20Z) - Approximating Counterfactual Bounds while Fusing Observational, Biased
and Randomised Data Sources [64.96984404868411]
我々は、複数の、偏見のある、観察的、介入的な研究からのデータを統合するという問題に対処する。
利用可能なデータの可能性は局所的な最大値を持たないことを示す。
次に、同じアプローチが複数のデータセットの一般的なケースにどのように対処できるかを示す。
論文 参考訳（メタデータ） (2023-07-31T11:28:24Z) - Data thinning for convolution-closed distributions [2.299914829977005]
本稿では,観測を2つ以上の独立した部分に分割する手法であるデータ薄型化を提案する。
教師なし学習手法の結果の検証には,データの薄化が有効であることを示す。
論文 参考訳（メタデータ） (2023-01-18T02:47:41Z) - Optimal Regularization for a Data Source [8.38093977965175]
解の量を促進する正則化器でデータの忠実性を強制する基準を強化するのが一般的である。
本稿では,凸正則化のパワーと限界の体系的理解を求める。
論文 参考訳（メタデータ） (2022-12-27T20:11:59Z) - A Robust and Flexible EM Algorithm for Mixtures of Elliptical
Distributions with Missing Data [71.9573352891936]
本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。
楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。
合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
論文 参考訳（メタデータ） (2022-01-28T10:01:37Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳（メタデータ） (2020-06-10T20:20:10Z) - Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。
我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
論文 参考訳（メタデータ） (2019-12-30T17:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。