論文の概要: Farewell to Mutual Information: Variational Distillation for Cross-Modal Person Re-Identification

• arxiv url: http://arxiv.org/abs/2104.02862v1
• Date: Wed, 7 Apr 2021 02:19:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 12:53:14.913543
• Title: Farewell to Mutual Information: Variational Distillation for Cross-Modal Person Re-Identification
• Title（参考訳）: 相互情報へのさよなら:異種人物再同定のための変分蒸留
• Authors: Xudong Tian, Zhizhong Zhang, Shaohui Lin, Yanyun Qu, Yuan Xie, Lizhuang Ma
• Abstract要約: Information Bottleneck (IB)は、表現学習のための情報理論の原則を提供する。 我々は、スケーラブルで柔軟で分析的なソリューションを提供する新しい戦略、可変自己蒸留(VSD)を提示します。 また、Variational Cross-Distillation (VCD) と Variational Mutual-Learning (VML) の2つの戦略を紹介します。
• 参考スコア（独自算出の注目度）: 41.02729491273057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Information Bottleneck (IB) provides an information theoretic principle for representation learning, by retaining all information relevant for predicting label while minimizing the redundancy. Though IB principle has been applied to a wide range of applications, its optimization remains a challenging problem which heavily relies on the accurate estimation of mutual information. In this paper, we present a new strategy, Variational Self-Distillation (VSD), which provides a scalable, flexible and analytic solution to essentially fitting the mutual information but without explicitly estimating it. Under rigorously theoretical guarantee, VSD enables the IB to grasp the intrinsic correlation between representation and label for supervised training. Furthermore, by extending VSD to multi-view learning, we introduce two other strategies, Variational Cross-Distillation (VCD) and Variational Mutual-Learning (VML), which significantly improve the robustness of representation to view-changes by eliminating view-specific and task-irrelevant information. To verify our theoretically grounded strategies, we apply our approaches to cross-modal person Re-ID, and conduct extensive experiments, where the superior performance against state-of-the-art methods are demonstrated. Our intriguing findings highlight the need to rethink the way to estimate mutual
• Abstract（参考訳）: Information Bottleneck (IB) は、ラベルの予測に関連する情報をすべて保持し、冗長性を最小化することで、表現学習のための情報理論の原則を提供する。 IBの原理は幅広い応用に適用されているが、その最適化は相互情報の正確な推定に大きく依存する難しい問題である。 本稿では,相互情報に本質的に適合するが,明確に見積もることなく,スケーラブルでフレキシブルで解析的なソリューションを提供する,変分自己蒸留(VSD)という新しい戦略を提案する。 厳密な理論的保証の下で、VSDはIBが教師付きトレーニングのための表現とラベルの本質的な相関を把握できるようにする。 さらに、VSDを多視点学習に拡張することにより、ビュー固有情報やタスク非関連情報を排除し、ビュー変更に対する表現の堅牢性を大幅に向上させる、変分相互学習(VCD)と変分相互学習(VML)の2つの戦略を導入する。 理論的に根ざした戦略を検証するため, クロスモーダルな人物Re-IDにアプローチを適用し, 広範な実験を行い, 最先端手法に対する優れた性能を示す。 興味深い発見は、相互見積の方法を再考する必要性を浮き彫りにする

関連論文リスト

• Constrained Multiview Representation for Self-supervised Contrastive Learning [4.817827522417457]
  本稿では、異なる視点の重要度を測定するために、表現距離に基づく相互情報(MI)に基づく新しいアプローチを提案する。 周波数領域から抽出した多視点表現を利用して、相互情報に基づいてそれらの意義を再評価する。
  論文  参考訳（メタデータ） (2024-02-05T19:09:33Z)
• Elastic Information Bottleneck [34.90040361806197]
  情報ボトルネックは表現学習における情報理論の原則である。 IB正則化器とDIB正則化器の間を補間する弾性情報ボトルネック(EIB)を提案する。 シミュレーションと実データ実験により、IB は IB や DIB よりも優れたドメイン適応結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-07T12:53:55Z)
• R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi Divergence [78.15455360335925]
  我々はR'enyiCLという新しい頑健なコントラスト学習手法を提案する。 我々の手法は R'enyi divergence の変動的下界の上に構築されている。 我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行うことを示す。
  論文  参考訳（メタデータ） (2022-08-12T13:37:05Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
  我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。 モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。 提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-12-13T08:58:03Z)
• Which Mutual-Information Representation Learning Objectives are Sufficient for Control? [80.2534918595143]
  相互情報は、データの表現を学習するために魅力的な形式を提供する。 本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。 意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-14T10:12:34Z)
• Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification [208.1227090864602]
  Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。 既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。 そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
  論文  参考訳（メタデータ） (2020-07-18T03:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。