論文の概要: Towards the Generalization of Multi-view Learning: An Information-theoretical Analysis
- arxiv url: http://arxiv.org/abs/2501.16768v1
- Date: Tue, 28 Jan 2025 07:47:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-29 16:42:48.262834
- Title: Towards the Generalization of Multi-view Learning: An Information-theoretical Analysis
- Title（参考訳）: 多視点学習の一般化に向けて:情報理論分析
- Authors: Wen Wen, Tieliang Gong, Yuxin Dong, Shujian Yu, Weizhan Zhang,
- Abstract要約: 我々は多視点学習のための情報理論の一般化境界を開発する。
我々は、新しいデータ依存バウンダリを、Left-one-outとSupersample設定の両方で導き出す。
補間体制では、多視点学習のための高速な境界がさらに確立される。
- 参考スコア（独自算出の注目度）: 28.009990407017618
- License:
- Abstract: Multiview learning has drawn widespread attention for its efficacy in leveraging cross-view consensus and complementarity information to achieve a comprehensive representation of data. While multi-view learning has undergone vigorous development and achieved remarkable success, the theoretical understanding of its generalization behavior remains elusive. This paper aims to bridge this gap by developing information-theoretic generalization bounds for multi-view learning, with a particular focus on multi-view reconstruction and classification tasks. Our bounds underscore the importance of capturing both consensus and complementary information from multiple different views to achieve maximally disentangled representations. These results also indicate that applying the multi-view information bottleneck regularizer is beneficial for satisfactory generalization performance. Additionally, we derive novel data-dependent bounds under both leave-one-out and supersample settings, yielding computational tractable and tighter bounds. In the interpolating regime, we further establish the fast-rate bound for multi-view learning, exhibiting a faster convergence rate compared to conventional square-root bounds. Numerical results indicate a strong correlation between the true generalization gap and the derived bounds across various learning scenarios.
- Abstract（参考訳）: マルチビュー学習は、総合的なデータ表現を実現するために、クロスビューのコンセンサスと相補性情報を活用する効果について、広く注目を集めている。
マルチビュー学習は活発な発展を遂げ、目覚ましい成功を収めてきたが、その一般化行動の理論的理解はいまだ解明されていない。
本稿では,多視点学習のための情報理論の一般化境界を開発することにより,このギャップを埋めることを目的としている。
我々の限界は、複数の異なる視点からコンセンサスと相補的な情報を捕捉し、最大で不整合な表現を実現することの重要性を浮き彫りにしている。
これらの結果から,多視点情報ボトルネック正規化器の適用は,良好な一般化性能を示すことが示唆された。
さらに,残余設定とスーパーサンプル設定の両方の下で,新たなデータ依存境界を導出し,計算容易かつより厳密なバウンダリを導出する。
補間方式では,多視点学習における高速値境界をさらに確立し,従来の平方根境界よりも高速な収束率を示す。
数値的な結果は,真の一般化ギャップと学習シナリオ間の導出境界との間に強い相関関係を示す。
関連論文リスト
- Discovering Common Information in Multi-view Data [35.37807004353416]
多視点データから共通情報を計算するための革新的で数学的に厳密な定義を導入する。
我々は,共通情報と一意情報の両方を捉えるために,教師付き多視点学習フレームワークを開発した。
論文 参考訳（メタデータ） (2024-06-21T10:47:06Z) - TCGF: A unified tensorized consensus graph framework for multi-view
representation learning [27.23929515170454]
本稿では,Consensus Graph Framework (TCGF) という汎用多視点表現学習フレームワークを提案する。
まず、個々のビューの表現を利用するために、既存のマルチビューワークに統一されたフレームワークを提供する。
そして、それらを高次表現としてアライメント基本の下でテンソルに積み上げ、一貫性の滑らかな伝播を可能にする。
論文 参考訳（メタデータ） (2023-09-14T19:29:14Z) - Cross-view Graph Contrastive Representation Learning on Partially
Aligned Multi-view Data [52.491074276133325]
マルチビュー表現学習は、過去数十年間で急速に発展し、多くの分野に応用されてきた。
本稿では,多視点情報を統合してデータアライメントを行い,潜在表現を学習する,新しいクロスビューグラフコントラスト学習フレームワークを提案する。
複数の実データを用いて実験を行い,クラスタリングおよび分類作業における提案手法の有効性を示した。
論文 参考訳（メタデータ） (2022-11-08T09:19:32Z) - Modeling Multiple Views via Implicitly Preserving Global Consistency and
Local Complementarity [61.05259660910437]
複数の視点から表現を学習するために,グローバルな一貫性と相補性ネットワーク(CoCoNet)を提案する。
グローバルな段階では、重要な知識はビュー間で暗黙的に共有され、そのような知識を捕捉するためのエンコーダの強化は、学習された表現の識別性を向上させることができる。
最後に、局所的な段階において、横断的な識別的知識を結合する相補的要素を提案し、また、エンコーダが視点的識別性だけでなく、横断的な相補的情報も学習するように誘導する。
論文 参考訳（メタデータ） (2022-09-16T09:24:00Z) - Latent Heterogeneous Graph Network for Incomplete Multi-View Learning [57.49776938934186]
非完全多視点学習のための新しい遅延不均質グラフネットワーク(LHGN)を提案する。
統一された潜在表現を学習することにより、異なる視点間の一貫性と相補性の間のトレードオフが暗黙的に実現される。
学習とテストフェーズの不整合を回避するため,分類タスクのグラフ学習に基づくトランスダクティブ学習手法を適用した。
論文 参考訳（メタデータ） (2022-08-29T15:14:21Z) - Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。
厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文 参考訳（メタデータ） (2022-06-20T03:09:46Z) - A Variational Information Bottleneck Approach to Multi-Omics Data
Integration [98.6475134630792]
本稿では,不完全な多視点観測のための深い変動情報ボトルネック (IB) 手法を提案する。
本手法は,対象物に関連のある視点内および視点間相互作用に焦点をあてるために,観測された視点の辺縁および結合表現にISBフレームワークを適用した。
実世界のデータセットの実験から、我々の手法はデータ統合から常に利益を得て、最先端のベンチマークより優れています。
論文 参考訳（メタデータ） (2021-02-05T06:05:39Z) - Deep Partial Multi-View Learning [94.39367390062831]
クロスパーシャル・マルチビュー・ネットワーク(CPM-Nets)と呼ばれる新しいフレームワークを提案する。
我々はまず、多視点表現に対する完全性と汎用性の形式的な定義を提供する。
そして、理論的に学習された潜在表現の多元性を証明する。
論文 参考訳（メタデータ） (2020-11-12T02:29:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。