論文の概要: Growing Representation Learning

• arxiv url: http://arxiv.org/abs/2110.08857v1
• Date: Sun, 17 Oct 2021 15:55:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 10:19:47.312200
• Title: Growing Representation Learning
• Title（参考訳）: 成長する表現学習
• Authors: Ryan King, Bobak Mortazavi
• Abstract要約: 我々は、ラベルの有無に関わらずデータの解釈可能な表現を学習する、GMATと呼ばれる注意に基づくガウス混合を開発する。 本研究では,ラベルの分布について,ラベルや仮定を使わずに新しいデータ表現を学習できることを示す。
• 参考スコア（独自算出の注目度）: 2.7231362265267127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning continues to grow in popularity due to its ability to learn increasingly complex tasks. However, for many supervised models, the shift in a data distribution or the appearance of a new event can result in a severe decrease in model performance. Retraining a model from scratch with updated data can be resource intensive or impossible depending on the constraints placed on an organization or system. Continual learning methods attempt to adapt models to new classes instead of retraining. However, many of these methods do not have a detection method for new classes or make assumptions about the distribution of classes. In this paper, we develop an attention based Gaussian Mixture, called GMAT, that learns interpretable representations of data with or without labels. We incorporate this method with existing Neural Architecture Search techniques to develop an algorithm for detection new events for an optimal number of representations through an iterative process of training a growing. We show that our method is capable learning new representations of data without labels or assumptions about the distributions of labels. We additionally develop a method that allows our model to utilize labels to more accurately develop representations. Lastly, we show that our method can avoid catastrophic forgetting by replaying samples from learned representations.
• Abstract（参考訳）: 機械学習は、ますます複雑なタスクを学習する能力によって、人気を高め続けている。 しかし、多くの教師付きモデルでは、データ分散の変化や新しいイベントの出現により、モデルの性能が大幅に低下する可能性がある。 モデルをスクラッチから更新データで再トレーニングすることは、組織やシステムに置かれる制約によって、リソース集約的あるいは不可能になる可能性がある。 継続学習法は、モデルを再訓練する代わりに、新しいクラスに適応させようとする。 しかし、これらの手法の多くは、新しいクラスの検出方法や、クラスの分布に関する仮定を持っていない。 本稿では,ラベルの有無に関わらずデータの解釈可能な表現を学習する,GMATと呼ばれるガウス混合手法を開発する。 この手法を既存のニューラルアーキテクチャ探索手法に組み込んで,成長訓練の反復プロセスを通じて,最適な表現数に対する新しい事象を検出するアルゴリズムを開発した。 本手法はラベルやラベルの分布に関する仮定を伴わずに新たなデータ表現を学習できることを示す。 また,モデルがラベルを利用して表現をより正確に開発できる手法を開発した。 最後に,本手法は,学習表現からサンプルを再生することで,破滅的な忘れを回避できることを示す。

関連論文リスト

• Distribution-Level Feature Distancing for Machine Unlearning: Towards a Better Trade-off Between Model Utility and Forgetting [4.220336689294245]
  近年の研究では、トレーニングされたモデルを忘れるべきデータを学習させるために、さまざまな機械学習アルゴリズムが提案されている。 本稿では,相関崩壊を防止しつつ,効率よくインスタンスを忘れる新しい手法であるDLFDを提案する。 提案手法はデータサンプルを合成し,生成したデータ分布が特徴空間で忘れられているサンプルの分布から遠ざかるようにする。
  論文  参考訳（メタデータ） (2024-09-23T06:51:10Z)
• Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
  事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。 本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:17:27Z)
• Premonition: Using Generative Models to Preempt Future Data Changes in Continual Learning [63.850451635362425]
  継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。 本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。 トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
  論文  参考訳（メタデータ） (2024-03-12T06:29:54Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
  ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。 ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
  論文  参考訳（メタデータ） (2023-05-28T05:38:28Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Learning to Generate Novel Classes for Deep Metric Learning [24.048915378172012]
  本稿では,新しいクラスとその埋め込みベクトルを合成するデータ拡張手法を提案する。 クラスラベルとノイズを与えられた条件付き生成モデルを学習し、活用することにより、クラスにランダムな埋め込みベクトルを生成する。 提案したジェネレータは,現実的で多様なクラスを増大させることで,よりリッチなクラス関係を利用でき,その結果,見つからないサンプルをより一般化することができる。
  論文  参考訳（メタデータ） (2022-01-04T06:55:19Z)
• Visualising Deep Network's Time-Series Representations [93.73198973454944]
  機械学習モデルの普及にもかかわらず、多くの場合、モデルの内部で起きていることに関する洞察のないブラックボックスとして運用される。 本稿では,多次元時系列データの可視化に着目し,この問題に対処する手法を提案する。 高周波在庫市場データセットの実験は、この方法が迅速かつ識別可能な可視化を提供することを示しています。
  論文  参考訳（メタデータ） (2021-03-12T09:53:34Z)
• Pseudo-Representation Labeling Semi-Supervised Learning [0.0]
  近年、半教師付き学習は、ラベルのないデータを活用してディープラーニングモデルの性能向上に成功している。 本研究は、擬似ラベル付け技術を用いて少量の未ラベルデータを反復的にラベル付けし、それらをトレーニングデータとして使用する、シンプルで柔軟なフレームワークである擬似表現ラベリングを提案する。 従来の手法と比較して、擬似表現ラベリングはより直感的であり、現実世界の実践的な問題を効果的に解決することができる。
  論文  参考訳（メタデータ） (2020-05-31T03:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。