論文の概要: High Fidelity Visualization of What Your Self-Supervised Representation
Knows About
- arxiv url: http://arxiv.org/abs/2112.09164v1
- Date: Thu, 16 Dec 2021 19:23:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-20 14:05:30.579231
- Title: High Fidelity Visualization of What Your Self-Supervised Representation
Knows About
- Title(参考訳): 自己監督表現が知っていることの高忠実度可視化
- Authors: Florian Bordes, Randall Balestriero, Pascal Vincent
- Abstract要約: 本研究では,条件拡散に基づく生成モデル(RCDM)を用いて,自己教師付きモデルを用いて学習した表現を可視化する。
このモデルの生成品質は、条件付けとして使われる表現に忠実でありながら、最先端の生成モデルとどのように同等かを示す。
- 参考スコア(独自算出の注目度): 22.982471878833362
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Discovering what is learned by neural networks remains a challenge. In
self-supervised learning, classification is the most common task used to
evaluate how good a representation is. However, relying only on such downstream
task can limit our understanding of how much information is retained in the
representation of a given input. In this work, we showcase the use of a
conditional diffusion based generative model (RCDM) to visualize
representations learned with self-supervised models. We further demonstrate how
this model's generation quality is on par with state-of-the-art generative
models while being faithful to the representation used as conditioning. By
using this new tool to analyze self-supervised models, we can show visually
that i) SSL (backbone) representation are not really invariant to many data
augmentation they were trained on. ii) SSL projector embedding appear too
invariant for tasks like classifications. iii) SSL representations are more
robust to small adversarial perturbation of their inputs iv) there is an
inherent structure learned with SSL model that can be used for image
manipulation.
- Abstract(参考訳): ニューラルネットワークによって何が学習されるかを発見することは、依然として課題である。
自己教師付き学習では、分類は表現の質を評価するのに最も一般的なタスクである。
しかし、そのような下流タスクのみに依存することは、与えられた入力の表現にどれだけ情報が保持されているかの理解を制限することができる。
本稿では,条件拡散に基づく生成モデル(rcdm)を用いて,自己教師付きモデルで学習した表現を可視化する。
さらに、このモデルの生成品質は、条件付けとして使われる表現に忠実でありながら、最先端の生成モデルと同等であることを示す。
この新しいツールを使って自己教師付きモデルを分析することで
i)SSL(バックボーン)表現は、トレーニングされた多くのデータ拡張と実際には不変ではありません。
ii)SSLプロジェクターの埋め込みは分類のようなタスクでは不変すぎる。
三 ssl表現は、入力の小さな敵対的摂動に対してより頑健である
iv)SSLモデルで学習した固有の構造があり、画像操作に使用することができる。
関連論文リスト
- Can Generative Models Improve Self-Supervised Representation Learning? [0.8739101659113157]
自己教師付き学習(SSL)は、ラベルのないデータを活用して強力な視覚表現を学習する可能性を強調している。
本稿では、生成モデルを利用して意味的に一貫性のある画像拡張を生成することによってSSLパラダイムを充実させる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-09T17:17:07Z) - A Probabilistic Model to explain Self-Supervised Representation Learning [17.643996974016854]
本稿では,データに対する生成潜在変数モデルを提案する。
比較的手法を含む識別的自己監督アルゴリズムのいくつかのファミリは、その表現上の潜在構造をほぼ誘導することを示した。
モデルを生成的に設定することで、SimVEは、一般的なベンチマーク上の以前のVAEメソッドよりもパフォーマンスを向上します。
論文 参考訳(メタデータ) (2024-02-02T13:31:17Z) - Learned representation-guided diffusion models for large-image
generation [60.698616089211505]
自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。
我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。
実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
論文 参考訳(メタデータ) (2023-12-12T14:45:45Z) - MOCA: Self-supervised Representation Learning by Predicting Masked
Online Codebook Assignments [48.67345147676275]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
相乗的, 計算効率の両パラダイムを効果的に活用する方法を示す。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2023-07-18T15:46:20Z) - Explaining, Analyzing, and Probing Representations of Self-Supervised
Learning Models for Sensor-based Human Activity Recognition [2.2082422928825136]
自己教師付き学習(SSL)フレームワークは、センサベースヒューマンアクティビティ認識(HAR)に広く応用されている。
本稿では,最近のSSLフレームワークであるSimCLRとVICRegの深層表現を解析することを目的とする。
論文 参考訳(メタデータ) (2023-04-14T07:53:59Z) - CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。
本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。
本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
論文 参考訳(メタデータ) (2022-06-29T15:22:01Z) - Improving VAE-based Representation Learning [26.47244578124654]
優れた表現にはどのような特性が必要か,また異なるVAE構造選択が学習特性に与える影響について検討する。
ローカルな特徴を学習するデコーダを使用することで、残りのグローバルな特徴を潜伏者によってうまく捉えられることを示す。
論文 参考訳(メタデータ) (2022-05-28T23:00:18Z) - Cross-modal Representation Learning for Zero-shot Action Recognition [67.57406812235767]
我々は、ゼロショット動作認識(ZSAR)のためのビデオデータとテキストラベルを共同で符号化するクロスモーダルトランスフォーマーベースのフレームワークを提案する。
我々のモデルは概念的に新しいパイプラインを使用し、視覚的表現と視覚的意味的関連をエンドツーエンドで学習する。
実験結果から,本モデルはZSARの芸術的状況に大きく改善され,UCF101,HMDB51,ActivityNetベンチマークデータセット上でトップ1の精度が向上した。
論文 参考訳(メタデータ) (2022-05-03T17:39:27Z) - Fair Interpretable Representation Learning with Correction Vectors [60.0806628713968]
我々は「補正ベクトル」の学習を中心にした公正表現学習のための新しい枠組みを提案する。
このような方法で制約されたいくつかの公正表現学習モデルが、ランキングや分類性能の損失を示さないことを実験的に示す。
論文 参考訳(メタデータ) (2022-02-07T11:19:23Z) - A Study of the Generalizability of Self-Supervised Representations [0.0]
近年の自己教師付き学習(SSL)により、ラベルのないデータから一般化可能な視覚表現を学習できるようになった。
本稿では,SSLモデルとSLモデルの一般化可能性について,その予測精度および予測信頼度を用いて検討する。
SSL表現はSL表現と比較して一般化可能であることを示す。
論文 参考訳(メタデータ) (2021-09-19T15:57:37Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳(メタデータ) (2020-07-11T10:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。