論文の概要: Variational Distillation for Multi-View Learning

• arxiv url: http://arxiv.org/abs/2206.09548v1
• Date: Mon, 20 Jun 2022 03:09:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 17:03:29.317890
• Title: Variational Distillation for Multi-View Learning
• Title（参考訳）: 多視点学習のための変分蒸留
• Authors: Xudong Tian, Zhizhong Zhang, Cong Wang, Wensheng Zhang, Yanyun Qu, Lizhuang Ma, Zongze Wu, Yuan Xie, Dacheng Tao
• Abstract要約: 我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
• 参考スコア（独自算出の注目度）: 104.17551354374821
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information Bottleneck (IB) based multi-view learning provides an information theoretic principle for seeking shared information contained in heterogeneous data descriptions. However, its great success is generally attributed to estimate the multivariate mutual information which is intractable when the network becomes complicated. Moreover, the representation learning tradeoff, {\it i.e.}, prediction-compression and sufficiency-consistency tradeoff, makes the IB hard to satisfy both requirements simultaneously. In this paper, we design several variational information bottlenecks to exploit two key characteristics ({\it i.e.}, sufficiency and consistency) for multi-view representation learning. Specifically, we propose a Multi-View Variational Distillation (MV$^2$D) strategy to provide a scalable, flexible and analytical solution to fitting MI by giving arbitrary input of viewpoints but without explicitly estimating it. Under rigorously theoretical guarantee, our approach enables IB to grasp the intrinsic correlation between observations and semantic labels, producing predictive and compact representations naturally. Also, our information-theoretic constraint can effectively neutralize the sensitivity to heterogeneous data by eliminating both task-irrelevant and view-specific information, preventing both tradeoffs in multiple view cases. To verify our theoretically grounded strategies, we apply our approaches to various benchmarks under three different applications. Extensive experiments to quantitatively and qualitatively demonstrate the effectiveness of our approach against state-of-the-art methods.
• Abstract（参考訳）: Information Bottleneck (IB)ベースの多視点学習は、異種データ記述に含まれる共有情報を求めるための情報理論の原理を提供する。 しかし、その大きな成功は、ネットワークが複雑化すると難解な多変量相互情報の推定に起因している。 さらに、表現学習トレードオフ、すなわち予測圧縮と十分性のトレードオフにより、ibは両方の要求を同時に満たすのが難しくなる。 本稿では,多視点表現学習における2つの重要な特徴(すなわち,十分性,一貫性)を活用するために,複数の変動情報ボトルネックを設計する。 具体的には,視点を任意に入力し,それを明示的に推定することなくmiに適合するスケーラブルで柔軟な分析ソリューションを提供するマルチビュー変分蒸留(mv$^2$d)戦略を提案する。 厳密な理論的保証の下では、IBは観察とセマンティックラベルの本質的な相関を把握でき、予測的かつコンパクトな表現を自然に生成できる。 また,情報理論の制約は,タスク非関連情報とビュー固有情報の両方を排除し,複数のビューケースにおける両トレードオフを防止し,異種データの感度を効果的に中和することができる。 理論的に根拠のある戦略を検証するために、3つの異なるアプリケーションの下で様々なベンチマークにアプローチを適用する。 本手法の有効性を定量的・定性的に実証するための広範な実験を行った。

関連論文リスト

• An Information Criterion for Controlled Disentanglement of Multimodal Data [39.601584166020274]
  マルチモーダル表現学習は、複数のモーダルに固有の情報を関連付けて分解しようとする。 Disentangled Self-Supervised Learning (DisentangledSSL)は、非角表現を学習するための新しい自己教師型アプローチである。
  論文  参考訳（メタデータ） (2024-10-31T14:57:31Z)
• Differentiable Information Bottleneck for Deterministic Multi-view Clustering [9.723389925212567]
  我々は、決定論的かつ分析的なMVCソリューションを提供する新しい微分可能情報ボトルネック(DIB)手法を提案する。 具体的には、まず、正規化されたカーネルグラム行列を利用して高次元空間の相互情報を直接適合させることを提案する。 そして、新たな相互情報測定に基づいて、解析勾配を持つ決定論的多視点ニューラルネットワークを明示的にトレーニングし、IBの原理をパラメータ化する。
  論文  参考訳（メタデータ） (2024-03-23T02:13:22Z)
• Constrained Multiview Representation for Self-supervised Contrastive Learning [4.817827522417457]
  本稿では、異なる視点の重要度を測定するために、表現距離に基づく相互情報(MI)に基づく新しいアプローチを提案する。 周波数領域から抽出した多視点表現を利用して、相互情報に基づいてそれらの意義を再評価する。
  論文  参考訳（メタデータ） (2024-02-05T19:09:33Z)
• Triple Disentangled Representation Learning for Multimodal Affective Analysis [20.37986194570143]
  マルチモーダル学習は感情分析タスクにおいて大きな優位性を示した。 多くの新しい研究は、入力データからモダリティ不変およびモダリティ固有表現を切り離し、予測のためにそれらを融合することに焦点を当てている。 入力データから、モダリティ不変量、有効モダリティ特化度、非効率モダリティ特化度をアンタングル化する新しい三重非アンタングル化手法TriDiRAを提案する。
  論文  参考訳（メタデータ） (2024-01-29T12:45:27Z)
• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Which Mutual-Information Representation Learning Objectives are Sufficient for Control? [80.2534918595143]
  相互情報は、データの表現を学習するために魅力的な形式を提供する。 本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。 意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-14T10:12:34Z)
• Farewell to Mutual Information: Variational Distillation for Cross-Modal Person Re-Identification [41.02729491273057]
  Information Bottleneck (IB)は、表現学習のための情報理論の原則を提供する。 我々は、スケーラブルで柔軟で分析的なソリューションを提供する新しい戦略、可変自己蒸留(VSD)を提示します。 また、Variational Cross-Distillation (VCD) と Variational Mutual-Learning (VML) の2つの戦略を紹介します。
  論文  参考訳（メタデータ） (2021-04-07T02:19:41Z)
• A Variational Information Bottleneck Approach to Multi-Omics Data Integration [98.6475134630792]
  本稿では,不完全な多視点観測のための深い変動情報ボトルネック (IB) 手法を提案する。 本手法は,対象物に関連のある視点内および視点間相互作用に焦点をあてるために,観測された視点の辺縁および結合表現にISBフレームワークを適用した。 実世界のデータセットの実験から、我々の手法はデータ統合から常に利益を得て、最先端のベンチマークより優れています。
  論文  参考訳（メタデータ） (2021-02-05T06:05:39Z)
• Deep Partial Multi-View Learning [94.39367390062831]
  クロスパーシャル・マルチビュー・ネットワーク(CPM-Nets)と呼ばれる新しいフレームワークを提案する。 我々はまず、多視点表現に対する完全性と汎用性の形式的な定義を提供する。 そして、理論的に学習された潜在表現の多元性を証明する。
  論文  参考訳（メタデータ） (2020-11-12T02:29:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。