論文の概要: Scaling down Deep Learning
- arxiv url: http://arxiv.org/abs/2011.14439v3
- Date: Fri, 4 Dec 2020 20:09:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-07 09:40:46.894140
- Title: Scaling down Deep Learning
- Title(参考訳): ディープラーニングのスケールダウン
- Authors: Sam Greydanus
- Abstract要約: MNIST-1Dは、古典的なディープラーニングベンチマークに代わる最小限の、低メモリで、低計算量である。
本稿では,宝くじの空間的帰納バイアスの測定,深度2重降下の観察,活性化関数のメタラーニングなどのユースケースについて述べる。
- 参考スコア(独自算出の注目度): 2.0305676256390934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Though deep learning models have taken on commercial and political relevance,
many aspects of their training and operation remain poorly understood. This has
sparked interest in "science of deep learning" projects, many of which are run
at scale and require enormous amounts of time, money, and electricity. But how
much of this research really needs to occur at scale? In this paper, we
introduce MNIST-1D: a minimalist, low-memory, and low-compute alternative to
classic deep learning benchmarks. The training examples are 20 times smaller
than MNIST examples yet they differentiate more clearly between linear,
nonlinear, and convolutional models which attain 32, 68, and 94% accuracy
respectively (these models obtain 94, 99+, and 99+% on MNIST). Then we present
example use cases which include measuring the spatial inductive biases of
lottery tickets, observing deep double descent, and metalearning an activation
function.
- Abstract(参考訳): 深層学習モデルは商業的・政治的に関係しているが、その訓練と運用の多くの側面はいまだに理解されていない。
これは"深層学習の科学"プロジェクトへの関心を呼び起こし、その多くが大規模に実行され、膨大な時間、お金、電気を必要とする。
しかし、この研究はどの程度大規模に行われる必要があるのか?
本稿では,従来のディープラーニングベンチマークに代わる最小限,低メモリ,低スループットのMNIST-1Dを提案する。
トレーニングの例はMNISTの例の20倍小さいが、線形モデル、非線形モデル、畳み込みモデル、それぞれ32、68、94%の精度で区別する(これらのモデルはMNISTで94、99+、99+%を得る)。
次に,宝くじの空間的インダクティブバイアスの測定,ディープダブル降下の観察,アクティベーション関数のメタラーニングといったユースケースを示す。
関連論文リスト
- Language models scale reliably with over-training and on downstream
tasks [116.41529786970355]
スケーリング法則は言語モデルを開発する上で有用なガイドである。
現在のスケーリング研究と、言語モデルが最終的にトレーニングされ、評価される方法には、まだギャップがあります。
論文 参考訳(メタデータ) (2024-03-13T13:54:00Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Pareto Frontiers in Neural Feature Learning: Data, Compute, Width, and
Luck [35.6883212537938]
オフラインスパースパリティ学習は,多層パーセプトロンの勾配に基づくトレーニングにおいて,統計的クエリの下限を許容する教師付き分類問題である。
理論上, 実験上, 疎初期化とネットワーク幅の増大がサンプル効率を著しく向上させることを示す。
また,合成スパースパリティタスクは,軸方向の特徴学習を必要とする現実的な問題のプロキシとして有用であることを示す。
論文 参考訳(メタデータ) (2023-09-07T15:52:48Z) - On Inductive Biases for Machine Learning in Data Constrained Settings [0.0]
この論文は、データ制約された設定で表現力のあるモデルを学ぶという問題に対する異なる答えを探求する。
ニューラルネットワークを学ぶために、大きなデータセットに頼るのではなく、データ構造を反映した既知の関数によって、いくつかのモジュールを置き換えるつもりです。
我々のアプローチは「帰納的バイアス」のフードの下に置かれており、これは探索するモデルの空間を制限する手元にあるデータの仮説として定義することができる。
論文 参考訳(メタデータ) (2023-02-21T14:22:01Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳(メタデータ) (2022-09-01T17:05:20Z) - APP: Anytime Progressive Pruning [104.36308667437397]
本稿では,特にオンライン学習の場合において,ニューラルネットワークをターゲット空間でトレーニングする方法を提案する。
提案手法は,複数のアーキテクチャやデータセットにまたがるベースライン密度とAnytime OSPモデルにおいて,短時間で適度かつ長時間のトレーニングにおいて,大幅に性能が向上する。
論文 参考訳(メタデータ) (2022-04-04T16:38:55Z) - Scalable approach to many-body localization via quantum data [69.3939291118954]
多体局在は、量子多体物理学の非常に難しい現象である。
計算コストの高いステップを回避できるフレキシブルニューラルネットワークベースの学習手法を提案する。
我々のアプローチは、量子多体物理学の新たな洞察を提供するために、大規模な量子実験に適用することができる。
論文 参考訳(メタデータ) (2022-02-17T19:00:09Z) - The Devil Is in the Details: An Efficient Convolutional Neural Network
for Transport Mode Detection [3.008051369744002]
トランスポートモード検出は、マルチモーダル信号が与えられたユーザのトランスポートモードを推測できるアルゴリズムを設計することを目的とした分類問題である。
小型で最適化されたモデルが、現在のディープモデルと同様に動作可能であることを示す。
論文 参考訳(メタデータ) (2021-09-16T08:05:47Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳(メタデータ) (2021-06-18T01:03:13Z) - How to fine-tune deep neural networks in few-shot learning? [2.0077237398506536]
深層モデルの微調整は単純で効果的な数ショット学習法である。
実験結果から深部モデルを微調整する方法を考察する。
論文 参考訳(メタデータ) (2020-12-01T01:20:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。