論文の概要: Online Unsupervised Learning of Visual Representations and Categories
- arxiv url: http://arxiv.org/abs/2109.05675v1
- Date: Mon, 13 Sep 2021 02:38:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-14 16:11:54.002901
- Title: Online Unsupervised Learning of Visual Representations and Categories
- Title(参考訳): 視覚表現とカテゴリのオンライン教師なし学習
- Authors: Mengye Ren, Tyler R. Scott, Michael L. Iuzzolino, Michael C. Mozer,
Richard Zemel
- Abstract要約: クラスラベルに頼らずに、オンラインの視覚表現学習と、新しいカテゴリの少数ショット学習を同時に行う教師なしモデルを提案する。
本手法は,視覚的入力データのオンラインストリームから学習することができ,最先端の自己教師型学習法と比較して,カテゴリ認識が極めて優れている。
- 参考スコア(独自算出の注目度): 23.654124044828716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real world learning scenarios involve a nonstationary distribution of classes
with sequential dependencies among the samples, in contrast to the standard
machine learning formulation of drawing samples independently from a fixed,
typically uniform distribution. Furthermore, real world interactions demand
learning on-the-fly from few or no class labels. In this work, we propose an
unsupervised model that simultaneously performs online visual representation
learning and few-shot learning of new categories without relying on any class
labels. Our model is a prototype-based memory network with a control component
that determines when to form a new class prototype. We formulate it as an
online Gaussian mixture model, where components are created online with only a
single new example, and assignments do not have to be balanced, which permits
an approximation to natural imbalanced distributions from uncurated raw data.
Learning includes a contrastive loss that encourages different views of the
same image to be assigned to the same prototype. The result is a mechanism that
forms categorical representations of objects in nonstationary environments.
Experiments show that our method can learn from an online stream of visual
input data and is significantly better at category recognition compared to
state-of-the-art self-supervised learning methods.
- Abstract(参考訳): 現実世界の学習シナリオでは、固定された典型的な一様分布から独立してサンプルを描く標準的な機械学習の定式化とは対照的に、サンプル間のシーケンシャルな依存関係を持つクラスを非定常に分散する。
さらに、現実世界の相互作用は、ほとんど、あるいは全くのクラスラベルから学ぶことを要求する。
そこで本研究では,クラスラベルに依存しないオンライン視覚表現学習と,新しいカテゴリの少数ショット学習を同時に行う教師なしモデルを提案する。
我々のモデルは、いつ新しいクラスプロトタイプを作るかを決定する制御コンポーネントを備えたプロトタイプベースのメモリネットワークである。
オンラインガウス混合モデルとして定式化し、コンポーネントは1つの新しい例だけでオンラインで作成され、割り当てはバランスを取る必要はなく、未処理の生データから自然の不均衡分布を近似することができる。
学習には、同じイメージの異なるビューを同じプロトタイプに割り当てることを奨励する対照的な損失が含まれている。
その結果は、非定常環境におけるオブジェクトのカテゴリ表現を形成するメカニズムである。
実験により,本手法は視覚的入力データのオンラインストリームから学習可能であり,最先端の自己教師型学習法に比べてカテゴリー認識に優れていた。
関連論文リスト
- Neural Representations Reveal Distinct Modes of Class Fitting in
Residual Convolutional Networks [5.1271832547387115]
ニューラル表現の確率モデルを利用して、残余ネットワークがクラスにどのように適合するかを調べる。
調査対象モデルのクラスは均一に適合していないことがわかった。
神経表現の未発見構造は, トレーニング例の堅牢性と, 対向記憶の相関性を示す。
論文 参考訳(メタデータ) (2022-12-01T18:55:58Z) - Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。
従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。
ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。
提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
論文 参考訳(メタデータ) (2022-08-04T10:22:24Z) - Self-Supervised Learning by Estimating Twin Class Distributions [26.7828253129684]
本稿では,大規模未ラベルデータセットをエンドツーエンドに分類し,自己教師付き表現学習手法TWISTを提案する。
2つの拡張画像の2つのクラス分布を生成するために、ソフトマックス演算で終了するシマセネットワークを用いる。
具体的には、各サンプルの分布のエントロピーを最小化し、各サンプルのクラス予測を行い、平均分布のエントロピーを最大化し、異なるサンプルの予測を多様化させる。
論文 参考訳(メタデータ) (2021-10-14T14:39:39Z) - Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。
対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。
比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文 参考訳(メタデータ) (2021-09-22T10:47:51Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳(メタデータ) (2021-06-06T00:04:49Z) - Semi-Supervised Few-Shot Classification with Deep Invertible Hybrid
Models [4.189643331553922]
半教師付き小ショット分類のための潜在空間レベルで識別学習と生成学習を統合するディープ・インバーチブルハイブリッドモデルを提案する。
我々の主な独創性は、これらのコンポーネントを潜在空間レベルで統合することであり、過度な適合を防ぐのに有効である。
論文 参考訳(メタデータ) (2021-05-22T05:55:16Z) - CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action
Recognition [52.66360172784038]
各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。
提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
論文 参考訳(メタデータ) (2021-01-18T12:46:24Z) - Learning and Evaluating Representations for Deep One-class
Classification [59.095144932794646]
ディープワンクラス分類のための2段階フレームワークを提案する。
まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。
実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
論文 参考訳(メタデータ) (2020-11-04T23:33:41Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳(メタデータ) (2020-06-22T15:07:06Z) - Imbalanced Data Learning by Minority Class Augmentation using Capsule
Adversarial Networks [31.073558420480964]
本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。
我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。
カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
論文 参考訳(メタデータ) (2020-04-05T12:36:06Z) - Domain segmentation and adjustment for generalized zero-shot learning [22.933463036413624]
ゼロショット学習では、見えないデータを生成モデルで合成することは、見えないクラスと見えないクラスのトレーニングデータの不均衡に対処する最も一般的な方法である。
未確認データの合成は、トレーニングデータの不均衡に起因する領域シフトに対処するための理想的なアプローチではないと我々は主張する。
本稿では,異なる領域における一般化されたゼロショット認識を実現することを提案する。
論文 参考訳(メタデータ) (2020-02-01T15:00:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。