論文の概要: Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing

• arxiv url: http://arxiv.org/abs/2209.03268v1
• Date: Wed, 7 Sep 2022 16:18:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-08 12:42:17.427369
• Title: Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing
• Title（参考訳）: 量子化逆探索による教師なし表現の解釈可能性の測定
• Authors: Iro Laina, Yuki M. Asano, Andrea Vedaldi
• Abstract要約: 本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
• 参考スコア（独自算出の注目度）: 97.70862116338554
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised visual representation learning has recently attracted significant research interest. While a common way to evaluate self-supervised representations is through transfer to various downstream tasks, we instead investigate the problem of measuring their interpretability, i.e. understanding the semantics encoded in raw representations. We formulate the latter as estimating the mutual information between the representation and a space of manually labelled concepts. To quantify this we introduce a decoding bottleneck: information must be captured by simple predictors, mapping concepts to clusters in representation space. This approach, which we call reverse linear probing, provides a single number sensitive to the semanticity of the representation. This measure is also able to detect when the representation contains combinations of concepts (e.g., "red apple") instead of just individual attributes ("red" and "apple" independently). Finally, we propose to use supervised classifiers to automatically label large datasets in order to enrich the space of concepts used for probing. We use our method to evaluate a large number of self-supervised representations, ranking them by interpretability, highlight the differences that emerge compared to the standard evaluation with linear probes and discuss several qualitative insights. Code at: {\scriptsize{\url{https://github.com/iro-cp/ssl-qrp}}}.
• Abstract（参考訳）: 自己監督型視覚表現学習は近年、大きな研究関心を集めている。 自己教師付き表現を評価する一般的な方法は、様々な下流タスクに転送することであるが、その代わりに、それらの解釈可能性、すなわち生表現で符号化された意味論を理解する問題を調べる。 後者を表現と手作業でラベルづけされた概念の空間の間の相互情報の推定として定式化する。 情報は単純な予測者によってキャプチャされなければならず、概念を表現空間のクラスタにマッピングする必要がある。 このアプローチは逆線形プローブと呼ばれ、表現の意味性に敏感な単一の数を提供する。 この尺度はまた、表現が個々の属性("red" と "apple" )を独立に含むのではなく、概念の組み合わせ("red apple" など)を含むことを検出できる。 最後に、教師付き分類器を用いて大規模なデータセットを自動的にラベル付けし、探索に使用する概念の空間を強化することを提案する。 提案手法は,多数の自己教師型表現の評価,解釈可能性による評価,線形プローブを用いた標準評価と比較して出現する相違点の強調,質的な考察を行う。 コード at: {\scriptsize{\url{https://github.com/iro-cp/ssl-qrp}}}。

関連論文リスト

• Linking in Style: Understanding learned features in deep learning models [0.0]
  畳み込みニューラルネットワーク(CNN)は抽象的な特徴を学び、オブジェクト分類を行う。 本稿では,CNNにおける学習特徴を可視化し,体系的に解析する自動手法を提案する。
  論文  参考訳（メタデータ） (2024-09-25T12:28:48Z)
• Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
  自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。 融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。 我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
  論文  参考訳（メタデータ） (2023-08-19T09:12:13Z)
• Disentangling Multi-view Representations Beyond Inductive Bias [32.15900989696017]
  本稿では,表現の解釈可能性と一般化性を両立させる新しい多視点表現分離手法を提案する。 提案手法は,クラスタリングと分類性能において,12種類の比較手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-03T09:09:28Z)
• Learning to Detect Instance-level Salient Objects Using Complementary Image Labels [55.049347205603304]
  本報告では,本問題に対する第1の弱教師付きアプローチを提案する。 本稿では,候補対象の特定にクラス整合性情報を活用するSaliency Detection Branch,オブジェクト境界をデライン化するためにクラス整合性情報を利用するBundary Detection Branch,サブティナイズ情報を用いたCentroid Detection Branchを提案する。
  論文  参考訳（メタデータ） (2021-11-19T10:15:22Z)
• Scribble-Supervised Semantic Segmentation by Random Walk on Neural Representation and Self-Supervision on Neural Eigenspace [10.603823180750446]
  本研究の目的は, 補助情報や中間操作を使わずに, ラベルを直接スクリブルすることで, セマンティックセグメンテーションを実現することである。 我々は、ランダムウォークによる神経表現への拡散と、自己スーパービジョンによる神経固有空間への一貫性を課す。 その結果,提案手法の優位性が示され,フルラベルの教師付き手法に匹敵する結果が得られた。
  論文  参考訳（メタデータ） (2020-11-11T08:22:25Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)
• Quantifying Learnability and Describability of Visual Concepts Emerging in Representation Learning [91.58529629419135]
  我々は、ディープニューラルネットワークによって自動的に発見された視覚的なグルーピングを特徴付ける方法を検討する。 本稿では、任意の画像グループ化の解釈可能性の定量化に使用できる視覚的学習可能性と記述可能性という2つの概念を紹介する。
  論文  参考訳（メタデータ） (2020-10-27T18:41:49Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。