論文の概要: Latent Correlation-Based Multiview Learning and Self-Supervision: A
Unifying Perspective
- arxiv url: http://arxiv.org/abs/2106.07115v1
- Date: Mon, 14 Jun 2021 00:12:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-16 05:55:01.087688
- Title: Latent Correlation-Based Multiview Learning and Self-Supervision: A
Unifying Perspective
- Title（参考訳）: 潜在相関に基づくマルチビュー学習と自己スーパービジョン:統一的視点
- Authors: Qi Lyu, Xiao Fu, Weiran Wang and Songtao Lu
- Abstract要約: この研究は、教師なしのマルチビュー学習のための理論支援フレームワークを提供する。
私たちの開発は、各ビューが共有コンポーネントとプライベートコンポーネントの非線形混合であるマルチビューモデルの提案から始まります。
さらに、各ビュー内のプライベート情報を適切な正規化設計を用いて共有から確実に切り離すことができる。
- 参考スコア（独自算出の注目度）: 41.80156041871873
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multiple views of data, both naturally acquired (e.g., image and audio) and
artificially produced (e.g., via adding different noise to data samples), have
proven useful in enhancing representation learning. Natural views are often
handled by multiview analysis tools, e.g., (deep) canonical correlation
analysis [(D)CCA], while the artificial ones are frequently used in
self-supervised learning (SSL) paradigms, e.g., \texttt{SimCLR} and
\texttt{Barlow Twins}. Both types of approaches often involve learning neural
feature extractors such that the embeddings of data exhibit high cross-view
correlations. Although intuitive, the effectiveness of correlation-based neural
embedding is only empirically validated. This work puts forth a theory-backed
framework for unsupervised multiview learning. Our development starts with
proposing a multiview model, where each view is a nonlinear mixture of shared
and private components. Consequently, the learning problem boils down to
shared/private component identification and disentanglement. Under this model,
latent correlation maximization is shown to guarantee the extraction of the
shared components across views (up to certain ambiguities). In addition, the
private information in each view can be provably disentangled from the shared
using proper regularization design. The method is tested on a series of tasks,
e.g., downstream clustering, which all show promising performance. Our
development also provides a unifying perspective for understanding various DCCA
and SSL schemes.
- Abstract（参考訳）: 自然に取得したデータ(画像や音声など)と人工的に生成されたデータ(データサンプルに異なるノイズを追加するなど)の複数のビューは、表現学習の強化に有用であることが証明されている。
自然ビューは、例えば(ディープ)正準相関解析 [(D)CCA] のようなマルチビュー解析ツールによって処理されることが多いが、人工ビューは自己教師付き学習(SSL)パラダイム、例えば \texttt{SimCLR} や \texttt{Barlow Twins} で頻繁に使用される。
どちらのアプローチも、データの埋め込みが高いクロスビュー相関を示すように、ニューラルネットワークの特徴抽出器を学習する。
直感的ではあるが、相関に基づく神経埋め込みの有効性は実証的に検証されるのみである。
この研究は教師なしマルチビュー学習のための理論に基づくフレームワークである。
私たちの開発は、各ビューが共有コンポーネントとプライベートコンポーネントの非線形混合であるマルチビューモデルの提案から始まります。
これにより、学習問題は共有/プライベートコンポーネントの識別と絡み合いに陥る。
このモデルでは、潜在相関最大化はビュー間で共有されたコンポーネント(特定のあいまいさまで)の抽出を保証することが示されている。
さらに、各ビュー内のプライベート情報を適切な正規化設計を用いて共有から確実に切り離すことができる。
この方法は、ダウンストリームクラスタリングなどの一連のタスクでテストされ、いずれも有望なパフォーマンスを示している。
私たちの開発は、様々なDCCAおよびSSLスキームを理解するための統一的な視点も提供します。
関連論文リスト
- Regularized Contrastive Partial Multi-view Outlier Detection [76.77036536484114]
RCPMOD(Regularized Contrastive partial Multi-view Outlier Detection)と呼ばれる新しい手法を提案する。
このフレームワークでは、コントラスト学習を利用して、ビュー一貫性のある情報を学び、一貫性の度合いでアウトレイラを識別する。
4つのベンチマークデータセットによる実験結果から,提案手法が最先端の競合より優れていることが示された。
論文 参考訳（メタデータ） (2024-08-02T14:34:27Z) - Multi-View Causal Representation Learning with Partial Observability [36.37049791756438]
同時に観察された視点から学習した表現の識別可能性を研究するための統一的な枠組みを提案する。
任意のビューのすべてのサブセット間で共有される情報は、コントラスト学習を用いてスムーズなビジェクションまで学習できることを実証する。
数値、画像、マルチモーダルデータセットに関する我々の主張を実験的に検証する。
論文 参考訳（メタデータ） (2023-11-07T15:07:08Z) - Hierarchical Mutual Information Analysis: Towards Multi-view Clustering
in The Wild [9.380271109354474]
この研究は、データリカバリとアライメントを階層的に一貫した方法で融合し、異なるビュー間の相互情報を最大化するディープMVCフレームワークを提案する。
私たちの知る限りでは、これは欠落したデータ問題と不整合データ問題に異なる学習パラダイムで別々に対処する最初の試みになるかもしれません。
論文 参考訳（メタデータ） (2023-10-28T06:43:57Z) - Cross-view Graph Contrastive Representation Learning on Partially
Aligned Multi-view Data [52.491074276133325]
マルチビュー表現学習は、過去数十年間で急速に発展し、多くの分野に応用されてきた。
本稿では,多視点情報を統合してデータアライメントを行い,潜在表現を学習する,新しいクロスビューグラフコントラスト学習フレームワークを提案する。
複数の実データを用いて実験を行い,クラスタリングおよび分類作業における提案手法の有効性を示した。
論文 参考訳（メタデータ） (2022-11-08T09:19:32Z) - ACTIVE:Augmentation-Free Graph Contrastive Learning for Partial
Multi-View Clustering [52.491074276133325]
部分的マルチビュークラスタリングの問題を解決するために,拡張自由グラフコントラスト学習フレームワークを提案する。
提案手法は、インスタンスレベルのコントラスト学習と欠落データ推論をクラスタレベルに高め、個々の欠落データがクラスタリングに与える影響を効果的に軽減する。
論文 参考訳（メタデータ） (2022-03-01T02:32:25Z) - Variational Interpretable Learning from Multi-view Data [2.687817337319978]
DICCAは、多視点データの共有とビュー固有のバリエーションの両方を分離するように設計されている。
実世界のデータセットにおける実証的な結果は、我々の手法がドメイン間で競合していることを示している。
論文 参考訳（メタデータ） (2022-02-28T01:56:44Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳（メタデータ） (2021-06-10T17:59:13Z) - Uncorrelated Semi-paired Subspace Learning [7.20500993803316]
一般化された非相関なマルチビューサブスペース学習フレームワークを提案する。
フレームワークの柔軟性を示すために,教師なし学習と教師なし学習の両方のための5つの新しいセミペアモデルをインスタンス化する。
提案するモデルは,ベースラインよりも競争力が高い。
論文 参考訳（メタデータ） (2020-11-22T22:14:20Z) - Contrastive learning, multi-view redundancy, and linear models [38.80336134485453]
表現学習に対する一般的な自己指導的アプローチは、対照的な学習である。
この研究は、マルチビュー設定におけるコントラスト学習の理論分析を提供する。
論文 参考訳（メタデータ） (2020-08-24T01:31:47Z) - Generative Partial Multi-View Clustering [133.36721417531734]
本稿では,不完全なマルチビュー問題に対処するため,GP-MVCと呼ばれる生成的部分的マルチビュークラスタリングモデルを提案する。
まず、マルチビューエンコーダネットワークをトレーニングして、一般的な低次元表現を学習し、次にクラスタリング層を使用して複数のビューをまたいだ一貫したクラスタ構造をキャプチャする。
第2に、他のビューが与える共有表現に基づいて、1つのビュー条件の欠落データを生成するために、ビュー固有の生成敵ネットワークを開発する。
論文 参考訳（メタデータ） (2020-03-29T17:48:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。