論文の概要: One Pass ImageNet

• arxiv url: http://arxiv.org/abs/2111.01956v1
• Date: Wed, 3 Nov 2021 00:28:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-04 13:43:16.111958
• Title: One Pass ImageNet
• Title（参考訳）: ワンパスイメージネット
• Authors: Huiyi Hu, Ang Li, Daniele Calandriello, Dilan Gorur
• Abstract要約: 本稿では,ストリーミング環境における深層学習の有効性を検討するために,One Pass ImageNet(OPIN)問題を提案する。 OPINでは、ImageNetデータを逐次到着として扱い、データの小さなサブセットを格納するためのメモリ予算が限られています。 メモリコストを小さくし,連続学習のために開発された手法を利用することで,性能ギャップを著しく低減できることを示す。
• 参考スコア（独自算出の注目度）: 26.189453233907553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the One Pass ImageNet (OPIN) problem, which aims to study the effectiveness of deep learning in a streaming setting. ImageNet is a widely known benchmark dataset that has helped drive and evaluate recent advancements in deep learning. Typically, deep learning methods are trained on static data that the models have random access to, using multiple passes over the dataset with a random shuffle at each epoch of training. Such data access assumption does not hold in many real-world scenarios where massive data is collected from a stream and storing and accessing all the data becomes impractical due to storage costs and privacy concerns. For OPIN, we treat the ImageNet data as arriving sequentially, and there is limited memory budget to store a small subset of the data. We observe that training a deep network in a single pass with the same training settings used for multi-epoch training results in a huge drop in prediction accuracy. We show that the performance gap can be significantly decreased by paying a small memory cost and utilizing techniques developed for continual learning, despite the fact that OPIN differs from typical continual problem settings. We propose using OPIN to study resource-efficient deep learning.
• Abstract（参考訳）: 本稿では,ストリーミング環境における深層学習の有効性を検討するために,One Pass ImageNet(OPIN)問題を提案する。 imagenetは広く知られたベンチマークデータセットであり、ディープラーニングの最近の進歩を駆動し、評価するのに役立った。 通常、ディープラーニング手法は、モデルがランダムにアクセスする静的データに基づいてトレーニングされ、トレーニングの各エポックにランダムシャッフルのあるデータセットを複数回使用します。 このようなデータアクセスの仮定は、ストリームから大量のデータが収集され、すべてのデータの保存とアクセスがストレージコストとプライバシの懸念のために非現実的になるような、多くの現実のシナリオでは成り立たない。 OPINでは、ImageNetデータを逐次到着として扱い、データの小さなサブセットを格納するためのメモリ予算が限られています。 深層ネットワークを1回のパスでトレーニングし、複数のエポックトレーニングに使用する同じトレーニング設定で、予測精度が大幅に低下するのを観察する。 我々は,OPINが典型的な連続問題設定と異なるにもかかわらず,メモリコストの削減と連続学習のための技術を活用することで,性能ギャップを著しく低減できることを示す。 我々はopinを用いて資源効率のよい深層学習法を提案する。

関連論文リスト

• A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated Class Incremental Learning for Vision Tasks [34.971800168823215]
  本稿では、過去の分布からサンプルを合成するために生成モデルを利用する、$textbffederated class incremental learning$のフレームワークを提案する。 プライバシを保護するため、生成モデルはクライアントからデータを要求することなく、各タスクの最後にデータフリーなメソッドを使用してサーバ上でトレーニングされる。
  論文  参考訳（メタデータ） (2023-11-13T22:21:27Z)
• KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
  深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。 我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。 本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
  論文  参考訳（メタデータ） (2023-10-16T06:19:29Z)
• Instance-Conditional Timescales of Decay for Non-Stationary Learning [11.90763787610444]
  スローコンセプトドリフトは、機械学習システムにおいて、ユビキタスだが未研究の課題である。 大規模トレーニングウィンドウ上でのインスタンスの重要さのバランスをとるための最適化型アプローチを提案する。 9年間にわたる39万枚の写真からなる大規模な実世界のデータセットの実験では、精度が15%まで向上した。
  論文  参考訳（メタデータ） (2022-12-12T14:16:26Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• APP: Anytime Progressive Pruning [104.36308667437397]
  本稿では,特にオンライン学習の場合において,ニューラルネットワークをターゲット空間でトレーニングする方法を提案する。 提案手法は,複数のアーキテクチャやデータセットにまたがるベースライン密度とAnytime OSPモデルにおいて,短時間で適度かつ長時間のトレーニングにおいて,大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-04-04T16:38:55Z)
• Continual Contrastive Self-supervised Learning for Image Classification [10.070132585425938]
  自己超越学習法は,大規模にラベル付けされたデータを持たない視覚表現に極めて有意な可能性を示す。 自己教師付き学習の視覚的表現を改善するには、より大きく、より多様なデータが必要である。 本稿では,リハーサル手法を提案することによって,連続的なコントラスト型自己教師型学習を実現するための最初の試みを行う。
  論文  参考訳（メタデータ） (2021-07-05T03:53:42Z)
• Multi-Agent Semi-Siamese Training for Long-tail and Shallow Face Learning [54.13876727413492]
  多くの現実世界の顔認識シナリオでは、トレーニングデータセットの深さは浅いため、IDごとに2つの顔画像しか利用できません。 非均一なサンプルの増加により、このような問題はより一般的なケース、すなわち長い尾の顔学習に変換される。 これらの問題に対処するために,マルチエージェントセミシアントレーニング(masst)という高度なソリューションを導入する。 広範な実験と比較は、長い尾と浅い顔学習のためのMASSTの利点を示しています。
  論文  参考訳（メタデータ） (2021-05-10T04:57:32Z)
• Condensed Composite Memory Continual Learning [17.192367229752072]
  ディープニューラルネットワーク(DNN)は、最新のタスクのデータのみが利用可能な一連のタスクでトレーニングされると、パフォーマンスが急速に低下します。 本稿では,完全なデータセットの本質を捉えた,少数の合成例を学習する新しい方法を提案する。
  論文  参考訳（メタデータ） (2021-02-19T12:18:15Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• JHU-CROWD++: Large-Scale Crowd Counting Dataset and A Benchmark Method [92.15895515035795]
  我々は、"4,372"イメージと"1.51万"アノテーションを含む、新しい大規模非制約クラウドカウントデータセット(JHU-CROWD++)を導入する。 本稿では, 残差誤差推定により, 群集密度マップを段階的に生成する新しい群集カウントネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T14:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。