論文の概要: Differentiable Information Bottleneck for Deterministic Multi-view Clustering

• arxiv url: http://arxiv.org/abs/2403.15681v1
• Date: Sat, 23 Mar 2024 02:13:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 21:32:08.121209
• Title: Differentiable Information Bottleneck for Deterministic Multi-view Clustering
• Title（参考訳）: 決定論的多視点クラスタリングのための微分情報基盤
• Authors: Xiaoqiang Yan, Zhixiang Jin, Fengshou Han, Yangdong Ye,
• Abstract要約: 我々は、決定論的かつ分析的なMVCソリューションを提供する新しい微分可能情報ボトルネック(DIB)手法を提案する。 具体的には、まず、正規化されたカーネルグラム行列を利用して高次元空間の相互情報を直接適合させることを提案する。 そして、新たな相互情報測定に基づいて、解析勾配を持つ決定論的多視点ニューラルネットワークを明示的にトレーニングし、IBの原理をパラメータ化する。
• 参考スコア（独自算出の注目度）: 9.723389925212567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent several years, the information bottleneck (IB) principle provides an information-theoretic framework for deep multi-view clustering (MVC) by compressing multi-view observations while preserving the relevant information of multiple views. Although existing IB-based deep MVC methods have achieved huge success, they rely on variational approximation and distribution assumption to estimate the lower bound of mutual information, which is a notoriously hard and impractical problem in high-dimensional multi-view spaces. In this work, we propose a new differentiable information bottleneck (DIB) method, which provides a deterministic and analytical MVC solution by fitting the mutual information without the necessity of variational approximation. Specifically, we first propose to directly fit the mutual information of high-dimensional spaces by leveraging normalized kernel Gram matrix, which does not require any auxiliary neural estimator to estimate the lower bound of mutual information. Then, based on the new mutual information measurement, a deterministic multi-view neural network with analytical gradients is explicitly trained to parameterize IB principle, which derives a deterministic compression of input variables from different views. Finally, a triplet consistency discovery mechanism is devised, which is capable of mining the feature consistency, cluster consistency and joint consistency based on the deterministic and compact representations. Extensive experimental results show the superiority of our DIB method on 6 benchmarks compared with 13 state-of-the-art baselines.
• Abstract（参考訳）: 近年、情報ボトルネック(IB)の原則は、複数のビューの関連情報を保存しつつ、多視点の観測を圧縮することで、深いマルチビュークラスタリング(MVC)のための情報理論の枠組みを提供する。 既存のISBベースのディープMVC法は大きな成功を収めているが、高次元多視点空間における難解で非現実的な問題である相互情報の低境界を推定するために、変分近似と分布推定に頼っている。 本研究では,変分近似を必要とせずに相互情報を適合させることにより,決定論的かつ解析的なMVCソリューションを提供する,新たな微分可能情報ボトルネック(DIB)手法を提案する。 具体的には、まず、正規化されたカーネルグラム行列を利用して高次元空間の相互情報を直接適合させることを提案する。 そして、新たな相互情報測定に基づいて、解析勾配を持つ決定論的多視点ニューラルネットワークを明示的にトレーニングし、異なる視点から入力変数の決定論的圧縮を導出するIB原理をパラメータ化する。 最後に, 特徴整合性, クラスタ整合性, 結合整合性を決定論的かつコンパクトな表現に基づいてマイニングできる三重項整合性発見機構を考案した。 実験結果から,6ベンチマークにおけるDIB法の優位性を示した。

関連論文リスト

• Fundamental limits of community detection from multi-view data: multi-layer, dynamic and partially labeled block models [7.778975741303385]
  現代のネットワーク分析におけるマルチビューデータのコミュニティ検出について検討する。 我々は,データと潜在パラメータ間の相互情報を特徴付ける。 コミュニティ検出のための近似メッセージパッシングに基づく反復アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-16T07:13:32Z)
• Max-Sliced Mutual Information [17.667315953598788]
  高次元の確率変数間の依存性の定量化は、統計的学習と推論の中心である。 2つの古典的手法は正準相関解析 (CCA) であり、これは元の変数の最大相関型を識別するものであり、シャノンの相互情報は普遍的依存度である。 本研究は、最大スライシング相互情報(mSMI)と呼ばれるCCAのスケーラブルな情報理論の一般化という形で中間層を提案する。
  論文  参考訳（メタデータ） (2023-09-28T06:49:25Z)
• DCID: Deep Canonical Information Decomposition [84.59396326810085]
  本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。 そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。 また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T16:59:06Z)
• Multi-View Clustering via Semi-non-negative Tensor Factorization [120.87318230985653]
  半負のテンソル因子分解(Semi-NTF)に基づく新しいマルチビュークラスタリングを開発する。 本モデルは、ビュー間の関係を直接考慮し、ビュー間の補完情報を利用する。 さらに,提案手法の最適化アルゴリズムを提案し,そのアルゴリズムが常に定常KKT点に収束することを数学的に証明する。
  論文  参考訳（メタデータ） (2023-03-29T14:54:19Z)
• Simple and Scalable Algorithms for Cluster-Aware Precision Medicine [0.0]
  共同クラスタリングと埋め込みに対するシンプルでスケーラブルなアプローチを提案する。 この新しいクラスタ対応の埋め込みアプローチは、現在の共同埋め込みとクラスタリング法の複雑さと限界を克服する。 当社のアプローチでは,ユーザが希望するクラスタ数を選択する必要はなく,階層的にクラスタ化された埋め込みの解釈可能なデンドログラムを生成する。
  論文  参考訳（メタデータ） (2022-11-29T19:27:26Z)
• Unified Multi-View Orthonormal Non-Negative Graph Based Clustering Framework [74.25493157757943]
  我々は,非負の特徴特性を活用し,多視点情報を統合された共同学習フレームワークに組み込む,新しいクラスタリングモデルを定式化する。 また、深層機能に基づいたクラスタリングデータに対するマルチモデル非負グラフベースのアプローチを初めて検討する。
  論文  参考訳（メタデータ） (2022-11-03T08:18:27Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Attentive Multi-View Deep Subspace Clustering Net [4.3386084277869505]
  我々は,AMVDSN(Attentive Multi-View Deep Subspace Nets)を提案する。 提案手法は,コンセンサス情報とビュー固有情報の両方を明示的に考慮した有意な潜在表現を求める。 7つの実世界のデータセットに対する実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-23T12:57:26Z)
• Unsupervised Multi-view Clustering by Squeezing Hybrid Knowledge from Cross View and Each View [68.88732535086338]
  本稿では,適応グラフ正規化に基づくマルチビュークラスタリング手法を提案する。 5つの多視点ベンチマークの実験結果から,提案手法が他の最先端手法をクリアマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2020-08-23T08:25:06Z)
• Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
  多視点問題は潜在変数モデルに直面することができる。 高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。 両アプローチを単一モデルにマージすることを提案する。
  論文  参考訳（メタデータ） (2020-06-01T14:25:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。