論文の概要: Minimalistic Unsupervised Learning with the Sparse Manifold Transform

• arxiv url: http://arxiv.org/abs/2209.15261v1
• Date: Fri, 30 Sep 2022 06:38:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 14:14:03.201189
• Title: Minimalistic Unsupervised Learning with the Sparse Manifold Transform
• Title（参考訳）: スパースマニフォールド変換を用いた最小教師なし学習
• Authors: Yubei Chen, Zeyu Yun, Yi Ma, Bruno Olshausen, Yann LeCun
• Abstract要約: 本稿では,SOTA SSL手法に近い性能を実現する,教師なし学習のための最小限かつ解釈可能な手法について述べる。 一層決定論的スパース多様体変換により、MNIST上で99.3%のKNNトップ-1精度が得られる。 CIFAR-10では83.2%、CIFAR-100では57%である。
• 参考スコア（独自算出の注目度）: 20.344274392350094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We describe a minimalistic and interpretable method for unsupervised learning, without resorting to data augmentation, hyperparameter tuning, or other engineering designs, that achieves performance close to the SOTA SSL methods. Our approach leverages the sparse manifold transform, which unifies sparse coding, manifold learning, and slow feature analysis. With a one-layer deterministic sparse manifold transform, one can achieve 99.3% KNN top-1 accuracy on MNIST, 81.1% KNN top-1 accuracy on CIFAR-10 and 53.2% on CIFAR-100. With a simple gray-scale augmentation, the model gets 83.2% KNN top-1 accuracy on CIFAR-10 and 57% on CIFAR-100. These results significantly close the gap between simplistic ``white-box'' methods and the SOTA methods. Additionally, we provide visualization to explain how an unsupervised representation transform is formed. The proposed method is closely connected to latent-embedding self-supervised methods and can be treated as the simplest form of VICReg. Though there remains a small performance gap between our simple constructive model and SOTA methods, the evidence points to this as a promising direction for achieving a principled and white-box approach to unsupervised learning.
• Abstract（参考訳）: 本稿では,SOTA SSL法に近い性能を実現するため,データ拡張やハイパーパラメータチューニング,その他のエンジニアリング設計を使わずに,教師なし学習のための最小限かつ解釈可能な手法について述べる。 提案手法はスパース符号化, 多様体学習, 遅い特徴解析を統一するスパース多様体変換を利用する。 一層決定論的スパース多様体変換では、MNISTでは99.3%、CIFAR-10では81.1%、CIFAR-100では53.2%の精度が得られる。 CIFAR-10では83.2%、CIFAR-100では57%である。 これらの結果は、単純な ``white-box'' メソッドと sota メソッドの間のギャップをかなり狭めている。 さらに,教師なし表現変換がどのように形成されるかを説明するために可視化を行う。 提案手法は, 潜伏型自己監督法と密接に結びついており, VICReg の最も単純な形式として扱うことができる。 単純な構成モデルとSOTAメソッドの間には小さなパフォーマンスギャップが残っているが、この証拠は、教師なし学習に対する原則的でホワイトボックスなアプローチを実現するための有望な方向であることを示している。

関連論文リスト

• Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
  深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。 近似MUは大規模モデルの実用的手法である。 本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
  論文  参考訳（メタデータ） (2024-09-29T15:17:33Z)
• SVFT: Parameter-Efficient Fine-Tuning with Singular Vectors [80.6043267994434]
  既存の手法と根本的に異なる単純なアプローチであるSVFTを提案する。 SVFTは特異ベクトルの外積のスパース結合として(W)を更新し、これらのスパース結合の係数(スケール)のみを訓練する。 言語とビジョンベンチマークの実験では、SVFTは完全な微調整性能の96%を回復し、パラメータの0.006から0.25%しかトレーニングしていない。
  論文  参考訳（メタデータ） (2024-05-30T01:27:43Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Dynamic Sparse Training via Balancing the Exploration-Exploitation Trade-off [19.230329532065635]
  スパーストレーニングは、モデルサイズを減らすことで、トレーニングコストを大幅に削減する可能性がある。 既存のスパーストレーニング方法は、主にランダムベースまたはグリーディベースのドロップ・アンド・グロー戦略を使用する。 本研究では,動的スパース学習をスパース接続探索問題として考察する。 実験の結果,提案手法により得られたスパースモデル(最大98%のスパース)は,SOTAスパース訓練法より優れていた。
  論文  参考訳（メタデータ） (2022-11-30T01:22:25Z)
• Bag of Tricks for FGSM Adversarial Training [30.25966570584856]
  FGSM-AT(Fast Gradient Sign Method、FGSM-AT)は、FGSM(Fast Gradient Sign Method、FGSM-AT)によって生成された、頑健なネットワークを訓練する単純な手法である。 トレーニング手順の間、不安定な「破滅的オーバーフィッティング」モードがarXiv:2001.03994[cs.LG]で特定され、単一のトレーニングステップで頑健な精度が突然0に低下する。 本研究は,FGSM-ATにおける破滅的な過剰適合を克服するためのトリックの収集を徹底的に検討した最初の研究である。
  論文  参考訳（メタデータ） (2022-09-06T17:53:21Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks [28.502489028888608]
  Unlearnable Example (ULE) は、DNNのトレーニングのための不正使用からデータを保護することを目的としている。 逆行訓練では、誤り最小化ノイズの非学習性は著しく低下する。 本稿では,各画像の1ピクセルのみを摂動させ,データセットを学習不能にする,新しいモデルフリー手法であるemphOne-Pixel Shortcutを提案する。
  論文  参考訳（メタデータ） (2022-05-24T15:17:52Z)
• Towards Demystifying Representation Learning with Non-contrastive Self-supervision [82.80118139087676]
  自己教師型学習の非競合的手法は、同一画像の2つのビュー間の距離を最小化することにより、表現を学習する。 Tian el al. (2021) は最初の質問に対して最初の試みを行い、予測器を直接設定する DirectPred を提案した。 単純な線形ネットワークにおいて、DirectSet($alpha$)は望ましいプロジェクション行列を確実に学習し、下流タスクにおけるサンプルの複雑さを減少させることを示す。
  論文  参考訳（メタデータ） (2021-10-11T00:48:05Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• ScopeFlow: Dynamic Scene Scoping for Optical Flow [94.42139459221784]
  我々は,光流の一般的なトレーニングプロトコルを変更することを提案する。 この改善は、挑戦的なデータをサンプリングする際のバイアスを観察することに基づいている。 トレーニングプロトコルでは,正規化と拡張の双方が減少することが判明した。
  論文  参考訳（メタデータ） (2020-02-25T09:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。