論文の概要: Scaling down Deep Learning

• arxiv url: http://arxiv.org/abs/2011.14439v3
• Date: Fri, 4 Dec 2020 20:09:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 09:40:46.894140
• Title: Scaling down Deep Learning
• Title（参考訳）: ディープラーニングのスケールダウン
• Authors: Sam Greydanus
• Abstract要約: MNIST-1Dは、古典的なディープラーニングベンチマークに代わる最小限の、低メモリで、低計算量である。 本稿では,宝くじの空間的帰納バイアスの測定,深度2重降下の観察,活性化関数のメタラーニングなどのユースケースについて述べる。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Though deep learning models have taken on commercial and political relevance, many aspects of their training and operation remain poorly understood. This has sparked interest in "science of deep learning" projects, many of which are run at scale and require enormous amounts of time, money, and electricity. But how much of this research really needs to occur at scale? In this paper, we introduce MNIST-1D: a minimalist, low-memory, and low-compute alternative to classic deep learning benchmarks. The training examples are 20 times smaller than MNIST examples yet they differentiate more clearly between linear, nonlinear, and convolutional models which attain 32, 68, and 94% accuracy respectively (these models obtain 94, 99+, and 99+% on MNIST). Then we present example use cases which include measuring the spatial inductive biases of lottery tickets, observing deep double descent, and metalearning an activation function.
• Abstract（参考訳）: 深層学習モデルは商業的・政治的に関係しているが、その訓練と運用の多くの側面はいまだに理解されていない。 これは"深層学習の科学"プロジェクトへの関心を呼び起こし、その多くが大規模に実行され、膨大な時間、お金、電気を必要とする。 しかし、この研究はどの程度大規模に行われる必要があるのか? 本稿では,従来のディープラーニングベンチマークに代わる最小限,低メモリ,低スループットのMNIST-1Dを提案する。 トレーニングの例はMNISTの例の20倍小さいが、線形モデル、非線形モデル、畳み込みモデル、それぞれ32、68、94%の精度で区別する(これらのモデルはMNISTで94、99+、99+%を得る)。 次に,宝くじの空間的インダクティブバイアスの測定,ディープダブル降下の観察,アクティベーション関数のメタラーニングといったユースケースを示す。

関連論文リスト

• Training on the Fly: On-device Self-supervised Learning aboard Nano-drones within 20 mW [52.280742520586756]
  ナノドローンのような小さな機械学習(TinyML)を利用した小型サイバー物理システム(CPS)は、ますます魅力的な技術になりつつある。 単純な電子回路はこれらのCPSを安価にすることができるが、計算、メモリ、センサーの資源を著しく制限する。 本稿では,ナノドロンの限られた超低消費電力資源にのみ依存する,オンデバイスファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-06T13:11:36Z)
• Training of Physical Neural Networks [16.832505972118646]
  物理ニューラルネットワーク(PNN)は、物理系の特性を利用して計算を行うニューラルネットワークである。 PNNはいつか、AIシステムで何が可能で実用的なのかを根本的に変えるかもしれない。 大規模にPNNを訓練するために、バックプロパゲーションベースやバックプロパゲーションフリーアプローチを含む多くの手法が検討されている。
  論文  参考訳（メタデータ） (2024-06-05T15:28:04Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• An Approach for Combining Multimodal Fusion and Neural Architecture Search Applied to Knowledge Tracing [6.540879944736641]
  本稿では,マルチモーダル融合とニューラルアーキテクチャ探索を組み合わせた逐次モデルに基づく最適化手法を提案する。 得られたモデルが優れた性能を達成できることを示す2つの公開実データに対して,本手法の評価を行った。
  論文  参考訳（メタデータ） (2021-11-08T13:43:46Z)
• Exploring the Common Principal Subspace of Deep Features in Neural Networks [50.37178960258464]
  我々は、同じデータセットでトレーニングされた異なるディープニューラルネットワーク(DNN)が、潜在空間において共通の主部分空間を共有することを発見した。 具体的には、DNNで学んだ深い機能の主部分空間を表すために、$mathcalP$-vectorを新たに設計する。 異なるアルゴリズム/アーキテクチャで訓練された2つのDNNの比較では、小さな角度(コサインが1.0ドルに近い)が見つかっている。
  論文  参考訳（メタデータ） (2021-10-06T15:48:32Z)
• How to fine-tune deep neural networks in few-shot learning? [2.0077237398506536]
  深層モデルの微調整は単純で効果的な数ショット学習法である。 実験結果から深部モデルを微調整する方法を考察する。
  論文  参考訳（メタデータ） (2020-12-01T01:20:59Z)
• Self-supervised Knowledge Distillation for Few-shot Learning [123.10294801296926]
  少数のサンプルだけで秩序分布から素早く学習できるため、ショットラーニングは有望な学習パラダイムである。 数ショットの学習タスクにおいて,深層ニューラルネットワークの表現能力を向上させるための簡単な手法を提案する。 実験により、第一段階においても、自己超越は現在の最先端手法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-17T11:27:00Z)
• AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
  基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。 汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。 機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
  論文  参考訳（メタデータ） (2020-03-06T19:00:04Z)
• Backward Feature Correction: How Deep Learning Performs Deep (Hierarchical) Learning [66.05472746340142]
  本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。 我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
  論文  参考訳（メタデータ） (2020-01-13T17:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。