論文の概要: Online Unsupervised Learning of Visual Representations and Categories

• arxiv url: http://arxiv.org/abs/2109.05675v1
• Date: Mon, 13 Sep 2021 02:38:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 16:11:54.002901
• Title: Online Unsupervised Learning of Visual Representations and Categories
• Title（参考訳）: 視覚表現とカテゴリのオンライン教師なし学習
• Authors: Mengye Ren, Tyler R. Scott, Michael L. Iuzzolino, Michael C. Mozer, Richard Zemel
• Abstract要約: クラスラベルに頼らずに、オンラインの視覚表現学習と、新しいカテゴリの少数ショット学習を同時に行う教師なしモデルを提案する。 本手法は,視覚的入力データのオンラインストリームから学習することができ,最先端の自己教師型学習法と比較して,カテゴリ認識が極めて優れている。
• 参考スコア（独自算出の注目度）: 23.654124044828716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real world learning scenarios involve a nonstationary distribution of classes with sequential dependencies among the samples, in contrast to the standard machine learning formulation of drawing samples independently from a fixed, typically uniform distribution. Furthermore, real world interactions demand learning on-the-fly from few or no class labels. In this work, we propose an unsupervised model that simultaneously performs online visual representation learning and few-shot learning of new categories without relying on any class labels. Our model is a prototype-based memory network with a control component that determines when to form a new class prototype. We formulate it as an online Gaussian mixture model, where components are created online with only a single new example, and assignments do not have to be balanced, which permits an approximation to natural imbalanced distributions from uncurated raw data. Learning includes a contrastive loss that encourages different views of the same image to be assigned to the same prototype. The result is a mechanism that forms categorical representations of objects in nonstationary environments. Experiments show that our method can learn from an online stream of visual input data and is significantly better at category recognition compared to state-of-the-art self-supervised learning methods.
• Abstract（参考訳）: 現実世界の学習シナリオでは、固定された典型的な一様分布から独立してサンプルを描く標準的な機械学習の定式化とは対照的に、サンプル間のシーケンシャルな依存関係を持つクラスを非定常に分散する。 さらに、現実世界の相互作用は、ほとんど、あるいは全くのクラスラベルから学ぶことを要求する。 そこで本研究では,クラスラベルに依存しないオンライン視覚表現学習と,新しいカテゴリの少数ショット学習を同時に行う教師なしモデルを提案する。 我々のモデルは、いつ新しいクラスプロトタイプを作るかを決定する制御コンポーネントを備えたプロトタイプベースのメモリネットワークである。 オンラインガウス混合モデルとして定式化し、コンポーネントは1つの新しい例だけでオンラインで作成され、割り当てはバランスを取る必要はなく、未処理の生データから自然の不均衡分布を近似することができる。 学習には、同じイメージの異なるビューを同じプロトタイプに割り当てることを奨励する対照的な損失が含まれている。 その結果は、非定常環境におけるオブジェクトのカテゴリ表現を形成するメカニズムである。 実験により,本手法は視覚的入力データのオンラインストリームから学習可能であり,最先端の自己教師型学習法に比べてカテゴリー認識に優れていた。

関連論文リスト

• Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
  事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。 本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:17:27Z)
• Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification [11.072083437769093]
  我々は不均衡テキスト分類タスクのためのSharpReCLという新しいモデルを提案する。 私たちのモデルは、いくつかのデータセットで人気のある大きな言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-05-19T11:33:49Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Class Distribution Shifts in Zero-Shot Learning: Learning Robust Representations [3.8980564330208662]
  シフトの原因となる属性が事前に不明であると仮定するモデルを提案する。 提案手法は,シミュレーションと実世界のデータセットの両方において,多様なクラス分布の一般化を改善する。
  論文  参考訳（メタデータ） (2023-11-30T14:14:31Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• Self-Supervised Learning by Estimating Twin Class Distributions [26.7828253129684]
  本稿では,大規模未ラベルデータセットをエンドツーエンドに分類し,自己教師付き表現学習手法TWISTを提案する。 2つの拡張画像の2つのクラス分布を生成するために、ソフトマックス演算で終了するシマセネットワークを用いる。 具体的には、各サンプルの分布のエントロピーを最小化し、各サンプルのクラス予測を行い、平均分布のエントロピーを最大化し、異なるサンプルの予測を多様化させる。
  論文  参考訳（メタデータ） (2021-10-14T14:39:39Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Semi-Supervised Few-Shot Classification with Deep Invertible Hybrid Models [4.189643331553922]
  半教師付き小ショット分類のための潜在空間レベルで識別学習と生成学習を統合するディープ・インバーチブルハイブリッドモデルを提案する。 我々の主な独創性は、これらのコンポーネントを潜在空間レベルで統合することであり、過度な適合を防ぐのに有効である。
  論文  参考訳（メタデータ） (2021-05-22T05:55:16Z)
• CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition [52.66360172784038]
  各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。 提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
  論文  参考訳（メタデータ） (2021-01-18T12:46:24Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。