Fugu-MT 論文翻訳(概要): Exploring Low Rank Training of Deep Neural Networks

論文の概要: Exploring Low Rank Training of Deep Neural Networks

arxiv url: http://arxiv.org/abs/2209.13569v1
Date: Tue, 27 Sep 2022 17:43:45 GMT
ステータス: 処理完了
システム内更新日: 2022-09-28 14:59:04.241925
Title: Exploring Low Rank Training of Deep Neural Networks
Title（参考訳）: ディープニューラルネットワークの低ランクトレーニングの探索
Authors: Siddhartha Rao Kamalakara, Acyr Locatelli, Bharat Venkitesh, Jimmy Ba, Yarin Gal, Aidan N. Gomez
Abstract要約: 低ランクのディープニューラルネットワークのトレーニングは、メモリ消費とトレーニング時間の両方の観点から、非リファクタリングトレーニングよりも効率がよい。我々は、実際にうまく機能する技術を分析し、GPT2のようなモデルに対する広範囲な改善を通じて、この分野における共通の信念を偽示する証拠を提供する。
参考スコア（独自算出の注目度）: 49.18122605463354
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Training deep neural networks in low rank, i.e. with factorised layers, is of particular interest to the community: it offers efficiency over unfactorised training in terms of both memory consumption and training time. Prior work has focused on low rank approximations of pre-trained networks and training in low rank space with additional objectives, offering various ad hoc explanations for chosen practice. We analyse techniques that work well in practice, and through extensive ablations on models such as GPT2 we provide evidence falsifying common beliefs in the field, hinting in the process at exciting research opportunities that still need answering.
Abstract（参考訳）: ディープニューラルネットワークの低ランク、すなわちファクタ付けされたレイヤでのトレーニングは、コミュニティにとって特に興味深い。先行研究は、事前訓練されたネットワークの低ランク近似と、追加目的の低ランク空間でのトレーニングに焦点を当てており、選択された実践のために様々なアドホックな説明を提供している。我々は実際にうまく機能する手法を分析し、gpt2のようなモデル上で広範囲にアブレーションを行い、この分野の共通の信念を偽る証拠を提供し、まだ答えを必要とするエキサイティングな研究機会の過程を示唆する。

関連論文リスト

Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-08-03T21:49:14Z)
Deep Fusion: Efficient Network Training via Pre-trained Initializations [3.9146761527401424]
我々は、より小さなネットワークの初期化を事前訓練したネットワークトレーニングの効率的なアプローチであるDeep Fusionを提案する。我々の実験は、Deep Fusionが訓練プロセスを加速するだけでなく、計算要求を減少させる実用的で効果的なアプローチであることを示す。我々は,Deep Fusionの最適利用を導く理論的枠組みを検証し,トレーニング時間と資源消費の両方を著しく削減することを示した。
論文参考訳（メタデータ） (2023-06-20T21:30:54Z)
Example Forgetting: A Novel Approach to Explain and Interpret Deep Neural Networks in Seismic Interpretation [12.653673008542155]
ディープニューラルネットワークは、共通の解釈パイプラインにとって魅力的なコンポーネントです。深層ニューラルネットワークは、モデルが訓練されていない部分に露出した場合、意味的に不正確な出力を生成するという特性のため、しばしば不信に満ちている。本稿では,意味的誤動作予測をニューラルネットワーク表現多様体内の優雅な位置と効果的に関連付ける手法を提案する。
論文参考訳（メタデータ） (2023-02-24T19:19:22Z)
Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations [5.17729871332369]
最先端の量子化技術は現在、ディープニューラルネットワークの重みと活性化の両方に応用されている。本研究では、トレーニング中の深部ニューラルネットワークの重みと活性化の両方に、新しい均一量子化法と非構造化プルーニング法を併用する。
論文参考訳（メタデータ） (2021-10-15T16:14:36Z)
Explaining Deep Learning Representations by Tracing the Training Process [10.774699463547439]
本稿では,ディープニューラルネットワークの決定を記述した新しい説明法を提案する。本研究では,深層ネットワークの各層における中間表現がどのように洗練されているかを検討した。提案手法は,説明として使用可能な,高度に代表的なトレーニングインスタンスを同定する。
論文参考訳（メタデータ） (2021-09-13T11:29:04Z)
What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文参考訳（メタデータ） (2021-06-12T13:05:11Z)
Dynamic Sparse Training for Deep Reinforcement Learning [36.66889208433228]
我々は,ニューラルネットワークをスクラッチから切り離した深層強化学習エージェントを動的に訓練する試みを初めて提案する。私たちのアプローチは、既存の深層強化学習アルゴリズムに簡単に統合できます。我々は,オープンAI体育連続制御タスクに対するアプローチを評価した。
論文参考訳（メタデータ） (2021-06-08T09:57:20Z)
Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文参考訳（メタデータ） (2021-02-03T09:30:45Z)
Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文参考訳（メタデータ） (2021-01-31T22:48:50Z)
Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
論文参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。