論文の概要: PODNet: Pooled Outputs Distillation for Small-Tasks Incremental Learning

• arxiv url: http://arxiv.org/abs/2004.13513v3
• Date: Tue, 6 Oct 2020 16:10:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 23:28:02.587655
• Title: PODNet: Pooled Outputs Distillation for Small-Tasks Incremental Learning
• Title（参考訳）: PODNet:小さなタスクインクリメンタル学習のためのポーリング出力蒸留
• Authors: Arthur Douillard, Matthieu Cord, Charles Ollion, Thomas Robert, Eduardo Valle
• Abstract要約: 我々は表現学習にインスパイアされたモデルPODNetを提案する。 PODNetは、小さなインクリメンタルタスクの長い実行でさえ、破滅的な忘れ物と戦っている。 以上の結果から,PODNetの精度は12.10点,6.51点,2.85点であった。
• 参考スコア（独自算出の注目度）: 45.588311782022444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lifelong learning has attracted much attention, but existing works still struggle to fight catastrophic forgetting and accumulate knowledge over long stretches of incremental learning. In this work, we propose PODNet, a model inspired by representation learning. By carefully balancing the compromise between remembering the old classes and learning new ones, PODNet fights catastrophic forgetting, even over very long runs of small incremental tasks --a setting so far unexplored by current works. PODNet innovates on existing art with an efficient spatial-based distillation-loss applied throughout the model and a representation comprising multiple proxy vectors for each class. We validate those innovations thoroughly, comparing PODNet with three state-of-the-art models on three datasets: CIFAR100, ImageNet100, and ImageNet1000. Our results showcase a significant advantage of PODNet over existing art, with accuracy gains of 12.10, 6.51, and 2.85 percentage points, respectively. Code is available at https://github.com/arthurdouillard/incremental_learning.pytorch
• Abstract（参考訳）: 生涯学習は多くの注目を集めているが、既存の研究は破滅的な忘れ物と闘い、段階的な学習の長い期間にわたって知識を蓄積している。 本研究では,表現学習にインスパイアされたモデルPODNetを提案する。 古いクラスを思い出し、新しいクラスを学ぶ際の妥協を慎重にバランスさせることで、podnetは、小さなインクリメンタルなタスクの非常に長い実行でも、破滅的な忘れ方と戦っている。 PODNetは、モデル全体に適用される効率的な空間ベースの蒸留損失と、クラス毎に複数のプロキシベクトルからなる表現によって、既存の技術に革新をもたらす。 我々はこれらのイノベーションを徹底的に検証し、CIFAR100、ImageNet100、ImageNet1000という3つのデータセット上の3つの最先端モデルと比較する。 以上の結果から,PODNetの精度は12.10点,6.51点,2.85点であった。 コードはhttps://github.com/arthurdouillard/incremental_learning.pytorchで入手できる。

関連論文リスト

• DenseNets Reloaded: Paradigm Shift Beyond ResNets and ViTs [30.412909498409192]
  この論文はDensely Connected Convolutional Networks (DenseNets)を復活させる。 DenseNetsのポテンシャルは、未修正のトレーニングメソッドと従来のデザイン要素が機能を完全に明らかにしていないために見過ごされてしまったと信じています。 我々は,DenseNetスタイルの設計に対して新たな好みを定めながら,付加的なショートカットに対する結合のメリットを明らかにする経験的分析を行う。
  論文  参考訳（メタデータ） (2024-03-28T17:12:39Z)
• CLIP2Scene: Towards Label-efficient 3D Scene Understanding by CLIP [55.864132158596206]
  Contrastive Language-Image Pre-Training (CLIP) は、2次元ゼロショットおよび少数ショット学習において有望な結果をもたらす。 私たちは,CLIP知識が3Dシーン理解にどう役立つか,最初の試みを行う。 筆者らは,CLIPの知識を2次元画像テキスト事前学習モデルから3次元ポイント・クラウド・ネットワークに転送するフレームワークであるCLIP2Sceneを提案する。
  論文  参考訳（メタデータ） (2023-01-12T10:42:39Z)
• ULIP: Learning a Unified Representation of Language, Images, and Point Clouds for 3D Understanding [110.07170245531464]
  現在の3Dモデルは、注釈付きデータの少ないデータセットと、事前に定義されたカテゴリセットによって制限されている。 近年の進歩は、言語などの他のモダリティからの知識を活用することで、同様の問題を著しく軽減できることを示している。 画像,テキスト,3次元点雲の統一表現は,3つのモードからオブジェクト三重項を事前学習することで学習する。
  論文  参考訳（メタデータ） (2022-12-10T01:34:47Z)
• Paint and Distill: Boosting 3D Object Detection with Semantic Passing Network [70.53093934205057]
  ライダーやカメラセンサーからの3Dオブジェクト検出タスクは、自動運転に不可欠である。 本研究では,既存のライダーベース3D検出モデルの性能向上を図るために,SPNetという新しいセマンティックパスフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-12T12:35:34Z)
• Multimodal Semi-Supervised Learning for 3D Objects [19.409295848915388]
  本稿では,3次元の分類処理と検索処理の両方において,異なる3次元データのモデルのコヒーレンスを用いてデータ効率を向上させる方法について検討する。 本稿では、インスタンスレベルの一貫性制約を導入し、新しいマルチモーダル・コントラッシブ・プロトタイプ(M2CP)の損失を減らし、新しいマルチモーダル・セミ教師付き学習フレームワークを提案する。 提案するフレームワークは,モデルNet10およびモデルNet40データセットにおいて,分類タスクと検索タスクの両方において,最先端のすべての処理性能を大幅に上回っている。
  論文  参考訳（メタデータ） (2021-10-22T05:33:16Z)
• DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive Learning [94.89221799550593]
  SSL(Self-supervised representation Learning)はコミュニティから広く注目を集めている。 最近の研究では、モデルサイズが小さくなれば、その性能は低下すると主張している。 単純かつ効果的な蒸留コントラスト学習(DisCo)を提案し、問題を大きなマージンで緩和します。
  論文  参考訳（メタデータ） (2021-04-19T08:22:52Z)
• CatNet: Class Incremental 3D ConvNets for Lifelong Egocentric Gesture Recognition [24.706843543488763]
  エゴセントリックなジェスチャーは、人間がVR/ARヘルメットやメガネのようなウェアラブルデバイスと対話するための、最も自然なコミュニケーション形態である。 従来のディープラーニングメソッドでは、すべての前のクラスサンプルをシステムに格納し、スクラッチからモデルを再トレーニングする必要があります。 本研究では、生涯にわたる3D畳み込みフレームワーク-c(C)la(a)s increment(t)al net(Net)work(CatNet)を実証する。 本稿では,RGBと奥行きモードを2つの異なるネットワークをトレーニングするための2ストリームのCatNetを提案する。
  論文  参考訳（メタデータ） (2020-04-20T11:36:02Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• TResNet: High Performance GPU-Dedicated Architecture [6.654949459658242]
  近年開発された多くのディープラーニングモデルは、FLOPS数が少なく、ResNet50よりもImageNetの精度が高い。 本稿では、GPUトレーニングと推論効率を維持しながら、ニューラルネットワークの精度を高めることを目的としたアーキテクチャ修正のシリーズを紹介する。 我々は、従来のConvNetよりも精度と効率を向上する、TResNetと呼ばれるGPU専用モデルの新しいファミリーを紹介する。
  論文  参考訳（メタデータ） (2020-03-30T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。