論文の概要: High Fidelity Visualization of What Your Self-Supervised Representation Knows About

• arxiv url: http://arxiv.org/abs/2112.09164v1
• Date: Thu, 16 Dec 2021 19:23:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-20 14:05:30.579231
• Title: High Fidelity Visualization of What Your Self-Supervised Representation Knows About
• Title（参考訳）: 自己監督表現が知っていることの高忠実度可視化
• Authors: Florian Bordes, Randall Balestriero, Pascal Vincent
• Abstract要約: 本研究では,条件拡散に基づく生成モデル(RCDM)を用いて,自己教師付きモデルを用いて学習した表現を可視化する。 このモデルの生成品質は、条件付けとして使われる表現に忠実でありながら、最先端の生成モデルとどのように同等かを示す。
• 参考スコア（独自算出の注目度）: 22.982471878833362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discovering what is learned by neural networks remains a challenge. In self-supervised learning, classification is the most common task used to evaluate how good a representation is. However, relying only on such downstream task can limit our understanding of how much information is retained in the representation of a given input. In this work, we showcase the use of a conditional diffusion based generative model (RCDM) to visualize representations learned with self-supervised models. We further demonstrate how this model's generation quality is on par with state-of-the-art generative models while being faithful to the representation used as conditioning. By using this new tool to analyze self-supervised models, we can show visually that i) SSL (backbone) representation are not really invariant to many data augmentation they were trained on. ii) SSL projector embedding appear too invariant for tasks like classifications. iii) SSL representations are more robust to small adversarial perturbation of their inputs iv) there is an inherent structure learned with SSL model that can be used for image manipulation.
• Abstract（参考訳）: ニューラルネットワークによって何が学習されるかを発見することは、依然として課題である。 自己教師付き学習では、分類は表現の質を評価するのに最も一般的なタスクである。 しかし、そのような下流タスクのみに依存することは、与えられた入力の表現にどれだけ情報が保持されているかの理解を制限することができる。 本稿では,条件拡散に基づく生成モデル(rcdm)を用いて,自己教師付きモデルで学習した表現を可視化する。 さらに、このモデルの生成品質は、条件付けとして使われる表現に忠実でありながら、最先端の生成モデルと同等であることを示す。 この新しいツールを使って自己教師付きモデルを分析することで i)SSL(バックボーン)表現は、トレーニングされた多くのデータ拡張と実際には不変ではありません。 ii)SSLプロジェクターの埋め込みは分類のようなタスクでは不変すぎる。 三 ssl表現は、入力の小さな敵対的摂動に対してより頑健である iv)SSLモデルで学習した固有の構造があり、画像操作に使用することができる。

関連論文リスト

• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Neural Clustering based Visual Representation Learning [61.72646814537163]
  クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。 本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。 FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
  論文  参考訳（メタデータ） (2024-03-26T06:04:50Z)
• Can Generative Models Improve Self-Supervised Representation Learning? [0.7999703756441756]
  本稿では、生成モデルを利用して意味論的に一貫した画像拡張を生成することによって、自己指導型学習パラダイムを充実させる新しいフレームワークを提案する。 その結果,下流タスクにおいて,学習した視覚表現の精度を最大10%向上させることができた。
  論文  参考訳（メタデータ） (2024-03-09T17:17:07Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Explaining, Analyzing, and Probing Representations of Self-Supervised Learning Models for Sensor-based Human Activity Recognition [2.2082422928825136]
  自己教師付き学習(SSL)フレームワークは、センサベースヒューマンアクティビティ認識(HAR)に広く応用されている。 本稿では,最近のSSLフレームワークであるSimCLRとVICRegの深層表現を解析することを目的とする。
  論文  参考訳（メタデータ） (2023-04-14T07:53:59Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• Improving VAE-based Representation Learning [26.47244578124654]
  優れた表現にはどのような特性が必要か,また異なるVAE構造選択が学習特性に与える影響について検討する。 ローカルな特徴を学習するデコーダを使用することで、残りのグローバルな特徴を潜伏者によってうまく捉えられることを示す。
  論文  参考訳（メタデータ） (2022-05-28T23:00:18Z)
• A Study of the Generalizability of Self-Supervised Representations [0.0]
  近年の自己教師付き学習(SSL)により、ラベルのないデータから一般化可能な視覚表現を学習できるようになった。 本稿では,SSLモデルとSLモデルの一般化可能性について,その予測精度および予測信頼度を用いて検討する。 SSL表現はSL表現と比較して一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-19T15:57:37Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Guided Generative Adversarial Neural Network for Representation Learning and High Fidelity Audio Generation using Fewer Labelled Audio Data [31.00018800567942]
  GAN(Generative Adversarial Neural Networks)の最近の改良は、高品質なサンプルを生成する能力を示している。 GANをベースとした表現学習手法の多くは,利用後のシナリオを無視した表現を学習する。 本稿では,新たなGANフレームワークであるGGAN(Guid Generative Neural Network)を提案する。
  論文  参考訳（メタデータ） (2020-03-05T11:01:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。