Fugu-MT 論文翻訳(概要): Search Spaces for Neural Model Training

論文の概要: Search Spaces for Neural Model Training

arxiv url: http://arxiv.org/abs/2105.12920v1
Date: Thu, 27 May 2021 02:50:08 GMT
ステータス: 処理完了
システム内更新日: 2021-05-28 16:16:56.498234
Title: Search Spaces for Neural Model Training
Title（参考訳）: ニューラルモデル学習のための探索空間
Authors: Darko Stosic, Dusan Stosic
Abstract要約: 本稿では,この振る舞いを探索空間を用いて理解することを目的とする。検索スペースを拡張して、何十ものディープラーニングワークロードで競合するスコアを獲得するスパースモデルをトレーニングする方法を示します。
参考スコア（独自算出の注目度）: 1.09650651784511
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While larger neural models are pushing the boundaries of what deep learning can do, often more weights are needed to train models rather than to run inference for tasks. This paper seeks to understand this behavior using search spaces -- adding weights creates extra degrees of freedom that form new paths for optimization (or wider search spaces) rendering neural model training more effective. We then show how we can augment search spaces to train sparse models attaining competitive scores across dozens of deep learning workloads. They are also are tolerant of structures targeting current hardware, opening avenues for training and inference acceleration. Our work encourages research to explore beyond massive neural models being used today.
Abstract（参考訳）: 大きなニューラルモデルは、ディープラーニングができることの境界を押し広げている一方で、タスクの推論を実行するよりも、モデルのトレーニングにより多くの重みが必要になることが多い。重みを加えることで、ニューラルネットワークモデルのトレーニングをより効果的にするための最適化(あるいはより広い検索空間)のための新しい経路を形成する追加の自由度が生まれます。次に、検索スペースを拡張して、数十のディープラーニングワークロードで競合するスコアを獲得するスパースモデルをトレーニングする方法を示します。彼らはまた、現在のハードウェアをターゲットにした構造に寛容であり、トレーニングと推論の加速のための道を開く。私たちの研究は、現在使われている巨大なニューラルモデルを超えて研究を奨励します。

関連論文リスト

Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
論文参考訳（メタデータ） (2024-06-04T15:47:03Z)
Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
論文参考訳（メタデータ） (2024-02-06T15:34:44Z)
Reward Finetuning for Faster and More Accurate Unsupervised Object Discovery [64.41455104593304]
Reinforcement Learning from Human Feedback (RLHF)は、機械学習モデルを改善し、それを人間の好みに合わせる。本稿では,RL法と類似した手法を非教師対象発見に適用することを提案する。私たちは、我々のアプローチがより正確であるだけでなく、訓練よりも桁違いに高速であることを示した。
論文参考訳（メタデータ） (2023-10-29T17:03:12Z)
Spiking mode-based neural networks [2.5690340428649328]
スパイキングニューラルネットワークは、脳のようなニューロモルフィック計算や神経回路の動作機構の研究において重要な役割を果たす。大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新することは非常に高価であることだ。本稿では,3つの行列のホップフィールド的乗算として繰り返し重み行列を記述したスパイキングモードベースのトレーニングプロトコルを提案する。
論文参考訳（メタデータ） (2023-10-23T06:54:17Z)
Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
論文参考訳（メタデータ） (2023-05-28T05:38:28Z)
LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文参考訳（メタデータ） (2021-10-08T17:03:34Z)
Top-KAST: Top-K Always Sparse Training [50.05611544535801]
トレーニングを通して一定間隔を保存するTop-KASTを提案する。確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
論文参考訳（メタデータ） (2021-06-07T11:13:05Z)
An Investigation of the Weight Space to Monitor the Training Progress of Neural Networks [1.7704011486040843]
重量空間における一意な滑らかな軌道上でモデルが進化し、トレーニングの進捗を追跡できることを示す。モデルトラジェクトリを分離し,トラジェクトリのチェックポイントの順序を復元できることが,DNNモデルバージョニングへの第一歩となる可能性がある。
論文参考訳（メタデータ） (2020-06-18T10:58:24Z)
Computation on Sparse Neural Networks: an Inspiration for Future Hardware [20.131626638342706]
スパースニューラルネットワークの計算に関する研究の現状について述べる。本稿では,重みパラメータの数とモデル構造に影響されるモデルの精度について論じる。実際に複雑な問題に対して、重みが支配する領域において、大小のモデルを探索することはより有益であることを示す。
論文参考訳（メタデータ） (2020-04-24T19:13:50Z)
AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
論文参考訳（メタデータ） (2020-03-06T19:00:04Z)
Classifying the classifier: dissecting the weight space of neural networks [16.94879659770577]
本稿では,ニューラルネットワークの重みに関する実証的研究について述べる。それぞれのモデルを高次元空間、すなわちニューラルウェイト空間の点として解釈する。重み空間に関するさらなる研究を促進するため、我々はニューラルウェイト空間(NWS)データセットをリリースする。
論文参考訳（メタデータ） (2020-02-13T18:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。