論文の概要: Scaling Down Deep Learning with MNIST-1D

• arxiv url: http://arxiv.org/abs/2011.14439v4
• Date: Tue, 21 May 2024 17:48:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 19:47:36.658036
• Title: Scaling Down Deep Learning with MNIST-1D
• Title（参考訳）: MNIST-1Dによるディープラーニングのスケールアップ
• Authors: Sam Greydanus, Dmitry Kobak,
• Abstract要約: MNIST-1Dは、古典的なディープラーニングベンチマークに代わる最小限のプロシージャ生成、低メモリ、低計算量である。 異なる深層建築の帰納バイアスの研究、宝くじの発見、深層二重降下観察、活性化関数のメタアーン化、および自己教師付き学習におけるギロチン正則化の実証に使用できる。
• 参考スコア（独自算出の注目度）: 6.246098300155482
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although deep learning models have taken on commercial and political relevance, key aspects of their training and operation remain poorly understood. This has sparked interest in science of deep learning projects, many of which require large amounts of time, money, and electricity. But how much of this research really needs to occur at scale? In this paper, we introduce MNIST-1D: a minimalist, procedurally generated, low-memory, and low-compute alternative to classic deep learning benchmarks. Although the dimensionality of MNIST-1D is only 40 and its default training set size only 4000, MNIST-1D can be used to study inductive biases of different deep architectures, find lottery tickets, observe deep double descent, metalearn an activation function, and demonstrate guillotine regularization in self-supervised learning. All these experiments can be conducted on a GPU or often even on a CPU within minutes, allowing for fast prototyping, educational use cases, and cutting-edge research on a low budget.
• Abstract（参考訳）: 深層学習モデルは商業的・政治的に関係があるが、その訓練と運用の重要な側面はいまだに理解されていない。 これはディープラーニングプロジェクトの科学への関心を喚起し、その多くは大量の時間、お金、電気を必要とする。 しかし、この研究のどれ程を大規模に行う必要があるのか? 本稿では,従来のディープラーニングベンチマークに代わる最小限のプロシージャ生成,低メモリ,低計算量であるMNIST-1Dを紹介する。 MNIST-1Dの寸法は40に過ぎず、デフォルトのトレーニングセットのサイズは4000に限られるが、MNIST-1Dは異なる深層建築の帰納バイアスの研究、宝くじの発見、深層二重降下の観察、アクティベーション関数の金属化、および自己教師付き学習におけるギロチン正則化の実証に使用できる。 これらの実験はすべてGPU上で、あるいは数分でCPU上で行うことができ、高速なプロトタイピング、教育ユースケース、低予算での最先端の研究を可能にする。

関連論文リスト

• Training of Physical Neural Networks [16.832505972118646]
  物理ニューラルネットワーク(PNN)は、物理系の特性を利用して計算を行うニューラルネットワークである。 PNNはいつか、AIシステムで何が可能で実用的なのかを根本的に変えるかもしれない。 大規模にPNNを訓練するために、バックプロパゲーションベースやバックプロパゲーションフリーアプローチを含む多くの手法が検討されている。
  論文  参考訳（メタデータ） (2024-06-05T15:28:04Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• An Approach for Combining Multimodal Fusion and Neural Architecture Search Applied to Knowledge Tracing [6.540879944736641]
  本稿では,マルチモーダル融合とニューラルアーキテクチャ探索を組み合わせた逐次モデルに基づく最適化手法を提案する。 得られたモデルが優れた性能を達成できることを示す2つの公開実データに対して,本手法の評価を行った。
  論文  参考訳（メタデータ） (2021-11-08T13:43:46Z)
• Exploring the Common Principal Subspace of Deep Features in Neural Networks [50.37178960258464]
  我々は、同じデータセットでトレーニングされた異なるディープニューラルネットワーク(DNN)が、潜在空間において共通の主部分空間を共有することを発見した。 具体的には、DNNで学んだ深い機能の主部分空間を表すために、$mathcalP$-vectorを新たに設計する。 異なるアルゴリズム/アーキテクチャで訓練された2つのDNNの比較では、小さな角度(コサインが1.0ドルに近い)が見つかっている。
  論文  参考訳（メタデータ） (2021-10-06T15:48:32Z)
• How to fine-tune deep neural networks in few-shot learning? [2.0077237398506536]
  深層モデルの微調整は単純で効果的な数ショット学習法である。 実験結果から深部モデルを微調整する方法を考察する。
  論文  参考訳（メタデータ） (2020-12-01T01:20:59Z)
• Self-supervised Knowledge Distillation for Few-shot Learning [123.10294801296926]
  少数のサンプルだけで秩序分布から素早く学習できるため、ショットラーニングは有望な学習パラダイムである。 数ショットの学習タスクにおいて,深層ニューラルネットワークの表現能力を向上させるための簡単な手法を提案する。 実験により、第一段階においても、自己超越は現在の最先端手法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-17T11:27:00Z)
• Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? [72.00712736992618]
  メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。 追加の増量は自己蒸留によって達成できる。 我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
  論文  参考訳（メタデータ） (2020-03-25T17:58:42Z)
• AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
  基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。 汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。 機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
  論文  参考訳（メタデータ） (2020-03-06T19:00:04Z)
• Backward Feature Correction: How Deep Learning Performs Deep (Hierarchical) Learning [66.05472746340142]
  本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。 我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
  論文  参考訳（メタデータ） (2020-01-13T17:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。