論文の概要: Information Theory-Guided Heuristic Progressive Multi-View Coding

• arxiv url: http://arxiv.org/abs/2109.02344v2
• Date: Tue, 22 Aug 2023 03:55:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 21:37:56.837001
• Title: Information Theory-Guided Heuristic Progressive Multi-View Coding
• Title（参考訳）: 情報理論に基づくヒューリスティック・プログレッシブ・マルチビュー符号化
• Authors: Jiangmeng Li, Wenwen Qiang, Hang Gao, Bing Su, Farid Razzak, Jie Hu, Changwen Zheng, Hui Xiong
• Abstract要約: マルチビュー表現学習は、共有コンテキストの複数のビューから包括的な情報をキャプチャする。 一般化された自己教師型多視点学習の理論的枠組みを研究する研究はほとんどない。 一般化多視点学習のための新しい情報理論フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 43.43739542593827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-view representation learning captures comprehensive information from multiple views of a shared context. Recent works intuitively apply contrastive learning (CL) to learn representations, regarded as a pairwise manner, which is still scalable: view-specific noise is not filtered in learning view-shared representations; the fake negative pairs, where the negative terms are actually within the same class as the positive, and the real negative pairs are coequally treated; and evenly measuring the similarities between terms might interfere with optimization. Importantly, few works research the theoretical framework of generalized self-supervised multi-view learning, especially for more than two views. To this end, we rethink the existing multi-view learning paradigm from the information theoretical perspective and then propose a novel information theoretical framework for generalized multi-view learning. Guided by it, we build a multi-view coding method with a three-tier progressive architecture, namely Information theory-guided heuristic Progressive Multi-view Coding (IPMC). In the distribution-tier, IPMC aligns the distribution between views to reduce view-specific noise. In the set-tier, IPMC builds self-adjusted pools for contrasting, which utilizes a view filter to adaptively modify the pools. Lastly, in the instance-tier, we adopt a designed unified loss to learn discriminative representations and reduce the gradient interference. Theoretically and empirically, we demonstrate the superiority of IPMC over state-of-the-art methods.
• Abstract（参考訳）: マルチビュー表現学習は、共有コンテキストの複数のビューから包括的な情報をキャプチャする。 近年の著作では、対立学習(con contrastive learning, cl)を適用して、ペアワイズな方法で表現を学習するが、これはまだスケーラブルである: ビュー固有のノイズは、ビュー共有表現を学ぶ際にフィルタされない; 負の項が実際には正と同じクラス内にあり、実際の負のペアが等しく扱われる偽の負のペア; そして、用語間の類似性を測定することは、最適化に支障をきたすかもしれない。 特に2つ以上の視点で、一般化された自己教師型多視点学習の理論的枠組みを研究する研究はほとんどない。 この目的のために,情報理論的な視点から既存の多視点学習パラダイムを再考し,一般化多視点学習のための新しい情報理論的枠組みを提案する。 そこで我々は,3階層のプログレッシブアーキテクチャ,すなわち情報理論に基づくヒューリスティックなプログレッシブ・マルチビュー符号化(IPMC)を用いたマルチビュー符号化手法を構築した。 分散層では、IPMCはビュー間の分散を調整し、ビュー固有のノイズを減らす。 セット層では、IPMCはコントラストのための自己調整型プールを構築し、ビューフィルタを使用してプールを適応的に修正する。 最後に、インスタンス層では、識別表現を学習し、勾配干渉を減らすために、設計された統一損失を採用する。 理論上,実証的に,ipmcが最先端手法よりも優れていることを示す。

関連論文リスト

• Regularized Contrastive Partial Multi-view Outlier Detection [76.77036536484114]
  RCPMOD(Regularized Contrastive partial Multi-view Outlier Detection)と呼ばれる新しい手法を提案する。 このフレームワークでは、コントラスト学習を利用して、ビュー一貫性のある情報を学び、一貫性の度合いでアウトレイラを識別する。 4つのベンチマークデータセットによる実験結果から,提案手法が最先端の競合より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-02T14:34:27Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Rethinking Multi-view Representation Learning via Distilled Disentangling [34.14711778177439]
  マルチビュー表現学習は、多様なデータソースからビュー一貫性とビュー固有性の両方を持つ堅牢な表現を導出することを目的としている。 本稿では、この領域における既存のアプローチの詳細な分析を行い、ビュー一貫性とビュー固有表現の冗長性を強調した。 我々は,多視点表現学習のための革新的枠組みを提案し,これを「蒸留解離」と呼ぶ手法を取り入れた。
  論文  参考訳（メタデータ） (2024-03-16T11:21:24Z)
• Information Theory-Guided Heuristic Progressive Multi-View Coding [25.91836137705842]
  マルチビュー表現学習は、共有コンテキストの複数のビューから包括的情報をキャプチャすることを目的としている。 最近の研究は、異なるビューに対して直感的に対照的な学習をペアワイズで適用していますが、これはまだスケーラブルです。 一般化多視点学習のための新しい情報理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-21T07:19:47Z)
• Investigating and Mitigating the Side Effects of Noisy Views for Self-Supervised Clustering Algorithms in Practical Multi-View Scenarios [35.32285779434823]
  マルチビュークラスタリング(MVC)は,マルチビューデータのカテゴリ構造を自己管理的に探索することを目的としている。 ノイズの多いビューは、実際のマルチビューシナリオでビューがノイズの多いときに、深刻な縮退する可能性がある。 この問題に対処するために理論的に基礎をおくディープMVC法(別名MVCAN)を提案する。
  論文  参考訳（メタデータ） (2023-03-30T09:22:17Z)
• Cross-view Graph Contrastive Representation Learning on Partially Aligned Multi-view Data [52.491074276133325]
  マルチビュー表現学習は、過去数十年間で急速に発展し、多くの分野に応用されてきた。 本稿では,多視点情報を統合してデータアライメントを行い,潜在表現を学習する,新しいクロスビューグラフコントラスト学習フレームワークを提案する。 複数の実データを用いて実験を行い,クラスタリングおよび分類作業における提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2022-11-08T09:19:32Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Deep Partial Multi-View Learning [94.39367390062831]
  クロスパーシャル・マルチビュー・ネットワーク(CPM-Nets)と呼ばれる新しいフレームワークを提案する。 我々はまず、多視点表現に対する完全性と汎用性の形式的な定義を提供する。 そして、理論的に学習された潜在表現の多元性を証明する。
  論文  参考訳（メタデータ） (2020-11-12T02:29:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。