論文の概要: Unsupervised Learning of Structured Representations via Closed-Loop Transcription

• arxiv url: http://arxiv.org/abs/2210.16782v1
• Date: Sun, 30 Oct 2022 09:09:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 17:35:37.808147
• Title: Unsupervised Learning of Structured Representations via Closed-Loop Transcription
• Title（参考訳）: 閉ループ転写による構造表現の教師なし学習
• Authors: Shengbang Tong, Xili Dai, Yubei Chen, Mingyang Li, Zengyi Li, Brent Yi, Yann LeCun, Yi Ma
• Abstract要約: 本稿では,識別目的と生成目的の両方を兼ね備えた統一表現を学習するための教師なし手法を提案する。 統一表現は、両方を持つことの相互利益を享受できることが示される。 これらの構造化された表現は、最先端の教師なし識別表現に近い分類を可能にする。
• 参考スコア（独自算出の注目度）: 21.78655495464155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes an unsupervised method for learning a unified representation that serves both discriminative and generative purposes. While most existing unsupervised learning approaches focus on a representation for only one of these two goals, we show that a unified representation can enjoy the mutual benefits of having both. Such a representation is attainable by generalizing the recently proposed \textit{closed-loop transcription} framework, known as CTRL, to the unsupervised setting. This entails solving a constrained maximin game over a rate reduction objective that expands features of all samples while compressing features of augmentations of each sample. Through this process, we see discriminative low-dimensional structures emerge in the resulting representations. Under comparable experimental conditions and network complexities, we demonstrate that these structured representations enable classification performance close to state-of-the-art unsupervised discriminative representations, and conditionally generated image quality significantly higher than that of state-of-the-art unsupervised generative models. Source code can be found at https://github.com/Delay-Xili/uCTRL.
• Abstract（参考訳）: 本稿では,差別目的と生成目的の両方に対応する統一表現を教師なしで学習する手法を提案する。 既存の教師なし学習アプローチでは,これらの2つの目標のうちの1つだけを表現することに集中しているが,統一的表現は両者の相互利益を享受できることが示されている。 このような表現は、最近提案された CTRL として知られる \textit{closed-loop transcription} フレームワークを教師なしの設定に一般化することで実現可能である。 これは、各サンプルの増補的な特徴を圧縮しながら、すべてのサンプルの特徴を拡大するレート削減の目的よりも制約付き極大ゲームを解決することを伴う。 この過程を通じて、差別的な低次元構造が結果の表現に現れる。 比較実験条件とネットワークの複雑さにより,これらの構造化表現は,最先端の非教師なし識別表現に近い分類性能を実現し,条件付き生成画像品質が最先端の教師なし生成モデルよりも有意に高いことを実証する。 ソースコードはhttps://github.com/Delay-Xili/uCTRLで確認できる。

関連論文リスト

• Disentangling Multi-view Representations Beyond Inductive Bias [32.15900989696017]
  本稿では,表現の解釈可能性と一般化性を両立させる新しい多視点表現分離手法を提案する。 提案手法は,クラスタリングと分類性能において,12種類の比較手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-03T09:09:28Z)
• A Clustering-guided Contrastive Fusion for Multi-view Representation Learning [7.630965478083513]
  本稿では、ビュー固有表現をビュー共通表現に融合する深層融合ネットワークを提案する。 また、ビュー共通表現とビュー固有表現を一致させる非対称なコントラスト戦略を設計する。 不完全な視点では,提案手法は競合相手よりもノイズ干渉に抵抗する。
  論文  参考訳（メタデータ） (2022-12-28T07:21:05Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Consistency Regularization for Deep Face Anti-Spoofing [69.70647782777051]
  顔認証システムでは、顔認証(FAS)が重要な役割を担っている。 このエキサイティングな観察によって、異なる視点の特徴整合性を促進することが、FASモデルを促進するための有望な方法かもしれないと推測する。 FASにおけるEPCR(Embeddding-level and Prediction-level Consistency Regularization)とEPCR(Embeddding-level Consistency Regularization)を併用した。
  論文  参考訳（メタデータ） (2021-11-24T08:03:48Z)
• Self-Supervised Learning Disentangled Group Representation as Feature [82.07737719232972]
  既存の自己監督学習(SSL)は、回転や着色などの単純な拡張機能のみを分解することを示す。 反復的分割に基づく不変リスク最小化(IP-IRM)を提案する。 我々は、IP-IRMが完全に不整合表現に収束し、様々なベンチマークでその効果を示すことを証明した。
  論文  参考訳（メタデータ） (2021-10-28T16:12:33Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
  我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。 これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T17:34:55Z)
• Disentangling Semantic-to-visual Confusion for Zero-shot Learning [13.610995960100869]
  我々はDCR-GAN(Disentangling Class Representation Generative Adrial Network)と呼ばれる新しいモデルを開発する。 DCR-GANは、歪んだ表現から恩恵を受け、見えない特徴と見えない特徴の両方に対して、より現実的な分布に適合する可能性がある。 提案モデルは,4つのベンチマークデータセット上での最先端モデルよりも優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2021-06-16T08:04:11Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)
• Classify and Generate: Using Classification Latent Space Representations for Image Generations [17.184760662429834]
  本稿では,操作された教師付き潜在表現を用いて,与えられたクラスに属する新しいサンプルを再構成・生成する識別モデリングフレームワークを提案する。 ReGeneは、既存の条件生成モデルよりも高い分類精度を持ち、FIDの点で競争力がある。
  論文  参考訳（メタデータ） (2020-04-16T09:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。