論文の概要: Unsupervised Learning on a DIET: Datum IndEx as Target Free of
Self-Supervision, Reconstruction, Projector Head
- arxiv url: http://arxiv.org/abs/2302.10260v1
- Date: Mon, 20 Feb 2023 19:46:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 17:20:37.808212
- Title: Unsupervised Learning on a DIET: Datum IndEx as Target Free of
Self-Supervision, Reconstruction, Projector Head
- Title（参考訳）: DIETにおける教師なし学習:自己スーパービジョン、再構築、プロジェクタヘッドの目的としてのDatum IndEx
- Authors: Randall Balestriero
- Abstract要約: textbfDIETはデコーダ/プロジェクタネットワークなしで動作し、肯定的なペアや再構築に基づいていない。
textbfDIETの単純さにもかかわらず、学習された表現は高品質であり、最先端のtextite.gと同等であることが多い。
- 参考スコア（独自算出の注目度）: 9.868558660605995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Costly, noisy, and over-specialized, labels are to be set aside in favor of
unsupervised learning if we hope to learn cheap, reliable, and transferable
models. To that end, spectral embedding, self-supervised learning, or
generative modeling have offered competitive solutions. Those methods however
come with numerous challenges \textit{e.g.} estimating geodesic distances,
specifying projector architectures and anti-collapse losses, or specifying
decoder architectures and reconstruction losses. In contrast, we introduce a
simple explainable alternative -- coined \textbf{DIET} -- to learn
representations from unlabeled data, free of those challenges. \textbf{DIET} is
blatantly simple: take one's favorite classification setup and use the
\textbf{D}atum \textbf{I}nd\textbf{E}x as its \textbf{T}arget class,
\textit{i.e. each sample is its own class}, no further changes needed.
\textbf{DIET} works without a decoder/projector network, is not based on
positive pairs nor reconstruction, introduces no hyper-parameters, and works
out-of-the-box across datasets and architectures. Despite \textbf{DIET}'s
simplicity, the learned representations are of high-quality and often on-par
with the state-of-the-art \textit{e.g.} using a linear classifier on top of
DIET's learned representation reaches $71.4\%$ on CIFAR100 with a Resnet101,
$52.5\%$ on TinyImagenet with a Resnext50.
- Abstract（参考訳）: 安価で信頼性が高く、転送可能なモデルを学びたいのであれば、コストが高く、うるさく、専門的なラベルは、教師なし学習に置き換えるべきです。
その目的のために、スペクトル埋め込み、自己教師付き学習、もしくは生成モデリングは競争力のあるソリューションを提供してきた。
これらの手法には、測地距離の推定、プロジェクタアーキテクチャの指定、反崩壊損失、デコーダアーキテクチャの指定、再構築損失など、多くの課題がある。
対照的に、ラベルのないデータから表現を学習するために、簡単な説明可能な代替手段 --textbf{DIET} を導入します。
お気に入りの分類設定を取り、 \textbf{D}atum \textbf{I}nd\textbf{E}x を \textbf{T}arget クラスとして使用する。
\textbf{DIET}はデコーダ/プロジェクタネットワークなしで動作し、肯定的なペアや再構成をベースとせず、ハイパーパラメータを導入せず、データセットやアーキテクチャをまたいだアウト・オブ・ボックスで動作する。
\textbf{DIET} の単純さにもかかわらず、学習された表現は高品質であり、DIET の学習された表現の上の線形分類器を使った最先端の \textit{e.g.} と同等であり、Resnet101 で CIFAR100 で 71.4\% 、Resnext50 で TinyImagenet で 52.5\% となる。
関連論文リスト
- Vision Transformer with Sparse Scan Prior [57.37893387775829]
人間の眼のスパース走査機構に触発され,textbfScan textbfSelf-textbfAttention 機構を提案する。
このメカニズムはトークンごとに一連のAnchor of Interestをプリ定義し、局所的な注意を使ってこれらのアンカー周辺の空間情報を効率的にモデル化する。
rmS3rmA$で構築すると、 textbfSparse textbfScan textbfVisionを導入します。
論文 参考訳（メタデータ） (2024-05-22T04:34:36Z) - Unlearning via Sparse Representations [84.13849294580375]
本稿では,離散的な表現ボトルネックに基づく,ほぼ計算自由なゼロショットアンラーニング手法を提案する。
提案手法は,提案手法を効率的に学習し,他のデータセットにおけるモデルの性能に負のダメージを与えることを示す。
論文 参考訳（メタデータ） (2023-11-26T11:12:30Z) - SecureCut: Federated Gradient Boosting Decision Trees with Efficient
Machine Unlearning [10.011146979811752]
VFL(Vertical Federated Learning)では、複数のパーティがモデルトレーニングにプライベート機能を提供している。
VFLでは、データ削除(textitmachine unlearning)は、プライバシの保証の下で、すべてのサンプルから特定の機能を削除する必要があることが多い。
我々は,スクラッチから再トレーニングを必要とせずに,テクティスタンス・アンラーニングとテクティファチュア・アンラーニングの両方を効果的に実現する,新しいグラディエント・ブースティング・決定木(GBDT)フレームワークであるmethnameを提案する。
論文 参考訳（メタデータ） (2023-11-22T05:38:53Z) - Improving Zero-Shot Generalization for CLIP with Synthesized Prompts [135.4317555866831]
既存のほとんどのメソッドは、実世界のアプリケーションでは保持できない全てのクラスにラベル付きデータを必要とする。
既存の微調整法を改善するために,textbfSynttextbfHestextbfIzed textbfPrompts(textbfSHIP)と呼ばれるプラグアンドプレイ生成手法を提案する。
論文 参考訳（メタデータ） (2023-07-14T15:15:45Z) - Supervised Contrastive Prototype Learning: Augmentation Free Robust
Neural Network [17.10753224600936]
ディープニューラルネットワーク(DNN)の入力空間における変換は、特徴空間の意図しない変化をもたらす。
我々は、SCPL (textbfd Contrastive Prototype Learning$) というトレーニングフレームワークを提案する。
同じクラスと反対クラスのプロトタイプでNペアの対照的な損失を使用し、分類ヘッドを$textbfPrototype Classification Head(PCH)で置き換える。
私たちのアプローチは、$textitsample efficient$、$textitsample mining$、既存のどのDNNでも変更せずに実装できます。
論文 参考訳（メタデータ） (2022-11-26T01:17:15Z) - 1st Place Solution of The Robust Vision Challenge (RVC) 2022 Semantic
Segmentation Track [67.56316745239629]
本報告では,ECCV 2022におけるロバストビジョンチャレンジのセマンティックセグメンテーション課題に対する勝利解について述べる。
本手法では,エンコーダとしてFAN-B-Hybridモデルを採用し,セグメンテーションフレームワークとしてSegformerを使用している。
提案手法は,マルチドメインセグメンテーションタスクの強力なベースラインとして機能し,今後の作業に役立てることができる。
論文 参考訳（メタデータ） (2022-10-23T20:52:22Z) - S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation
with Semi-Supervised Learning [70.72037296392642]
モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。
具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。
より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
論文 参考訳（メタデータ） (2022-08-01T14:05:23Z) - SdAE: Self-distillated Masked Autoencoder [95.3684955370897]
本稿では,自己蒸留マスク付きオートエンコーダネットワークSdAEを提案する。
300エポックの事前トレーニングで、バニラViT-BaseモデルはImageNet-1k分類において84.1%の微調整精度を達成する。
論文 参考訳（メタデータ） (2022-07-31T15:07:25Z) - Categorical Representation Learning: Morphism is All You Need [0.0]
分類表現学習のための構築と「$textitcategorifier$」の基礎について紹介する。
データセット内のすべてのオブジェクト$mathcals$は$textitencoding map$ $e: mathcalobj(mathcals)tomathbbrn$によって$mathbbrn$のベクトルとして表現できる。
概念実証として,我々の技術を搭載したテキスト翻訳者の例を示し,分類的学習モデルがそれを上回ることを示す。
論文 参考訳（メタデータ） (2021-03-26T23:47:15Z) - MAGNeto: An Efficient Deep Learning Method for the Extractive Tags
Summarization Problem [0.0]
抽出タグ要約(ETS)と呼ばれる新しい画像アノテーションタスクについて検討する。
ゴールは、画像とその対応するタグに横たわるコンテキストから重要なタグを抽出することである。
提案手法は,畳み込み層や自己注意層など,広く使用されているブロックで構成されている。
論文 参考訳（メタデータ） (2020-11-09T11:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。