論文の概要: Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction

• arxiv url: http://arxiv.org/abs/2006.08558v1
• Date: Mon, 15 Jun 2020 17:23:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 02:41:10.484048
• Title: Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction
• Title（参考訳）: 最大符号化率低減原理による学習の多様性と判別表現
• Authors: Yaodong Yu, Kwan Ho Ryan Chan, Chong You, Chaobing Song, Yi Ma
• Abstract要約: 本稿では、データセット全体と各クラスの和との符号化レート差を最大化する情報理論尺度である最大符号化レート削減(textMCR2$)の原理を提案する。 我々は,クロスエントロピー,情報ボトルネック,情報ゲイン,契約的・コントラスト的学習など,既存のフレームワークとの関係を明らかにするとともに,多様かつ差別的な特徴を学習するための理論的保証を提供する。
• 参考スコア（独自算出の注目度）: 32.21975128854042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To learn intrinsic low-dimensional structures from high-dimensional data that most discriminate between classes, we propose the principle of Maximal Coding Rate Reduction ($\text{MCR}^2$), an information-theoretic measure that maximizes the coding rate difference between the whole dataset and the sum of each individual class. We clarify its relationships with most existing frameworks such as cross-entropy, information bottleneck, information gain, contractive and contrastive learning, and provide theoretical guarantees for learning diverse and discriminative features. The coding rate can be accurately computed from finite samples of degenerate subspace-like distributions and can learn intrinsic representations in supervised, self-supervised, and unsupervised settings in a unified manner. Empirically, the representations learned using this principle alone are significantly more robust to label corruptions in classification than those using cross-entropy, and can lead to state-of-the-art results in clustering mixed data from self-learned invariant features.
• Abstract（参考訳）: クラス間を最も識別する高次元データから本質的低次元構造を学ぶために,データセット全体と各クラスの合計の符号化速度差を最大化する情報理論的な尺度である最大符号化率低減(\text{mcr}^2$)の原理を提案する。 クロスエントロピー,情報ボトルネック,情報ゲイン,契約学習,コントラスト学習などの既存のフレームワークとの関連性を明らかにし,多様で識別的な特徴を学習するための理論的保証を提供する。 符号化速度は、縮退部分空間様分布の有限サンプルから正確に計算でき、教師あり、自己教師あり、教師なしの設定で内在表現を統一的に学習することができる。 経験的に、この原理だけで学んだ表現は、クロスエントロピーを用いたものよりも分類における汚職のラベル付けにかなり堅牢であり、自己学習不変な特徴から混合データをクラスタリングする最先端の結果をもたらす可能性がある。

関連論文リスト

• Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
  1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。 マルチモーダルデータに適した深層学習一クラス分類法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T12:31:18Z)
• Improving Deep Representation Learning via Auxiliary Learnable Target Coding [69.79343510578877]
  本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。 具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
  論文  参考訳（メタデータ） (2023-05-30T01:38:54Z)
• On Interpretable Approaches to Cluster, Classify and Represent Multi-Subspace Data via Minimum Lossy Coding Length based on Rate-Distortion Theory [0.0]
  クラスタリング、分類、表現は、本質的な構造を持つ高次元データから学習する3つの基本的な目的である。 本稿では,3つの解釈可能なアプローチ,すなわち,最小ロッシー符号化長基準によるセグメンテーション(クラスタリング),最小インクリメンタル符号化長基準による分類,最大符号化レート削減基準による表現を紹介する。
  論文  参考訳（メタデータ） (2023-02-21T01:15:08Z)
• Improved Representation Learning Through Tensorized Autoencoders [7.056005298953332]
  オートエンコーダ(AE)は、教師なし表現学習において広く使われている。 本稿では,任意のAEアーキテクチャをテンソル化バージョン(TAE)に拡張するメタアルゴリズムを提案する。 我々は,TAEが標準AEによって回収されたデータ全体の原理成分とは対照的に,異なるクラスタの原理成分を復元できることを証明した。
  論文  参考訳（メタデータ） (2022-12-02T09:29:48Z)
• Federated Representation Learning via Maximal Coding Rate Reduction [109.26332878050374]
  本稿では,複数のクライアントに分散したデータセットから低次元表現を学習する手法を提案する。 提案手法はFLOWと呼ばれ, MCR2を選択の対象とし, その結果, クラス間判別とクラス内圧縮の両方が可能な表現が得られた。
  論文  参考訳（メタデータ） (2022-10-01T15:43:51Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Discriminative Attribution from Counterfactuals [64.94009515033984]
  本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。 本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-28T00:53:34Z)
• TCGM: An Information-Theoretic Framework for Semi-Supervised Multi-Modality Learning [35.76792527025377]
  半教師付きマルチモーダル学習のための新しい情報理論アプローチである textbfTotal textbfCorrelation textbfGain textbfMaximization (TCGM) を提案する。 本手法を様々なタスクに適用し,ニュース分類,感情認識,疾患予測など,最先端の成果を達成する。
  論文  参考訳（メタデータ） (2020-07-14T03:32:03Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Learning Discrete Structured Representations by Adversarially Maximizing Mutual Information [39.87273353895564]
  本研究では、構造化潜在変数と対象変数の相互情報を最大化することにより、ラベルのないデータから離散的構造化表現を学習する。 我々の重要な技術的貢献は、クロスエントロピー計算の実現可能性のみを前提として、相互情報を的確に見積もることができる敵の目的である。 文書ハッシュに本モデルを適用し,離散およびベクトル量子化変分オートエンコーダに基づいて,現在の最良ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-08T13:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。