論文の概要: Manifold Regularization for Memory-Efficient Training of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2305.17119v1
• Date: Fri, 26 May 2023 17:40:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 13:07:55.209128
• Title: Manifold Regularization for Memory-Efficient Training of Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークのメモリ効率トレーニングのための多様体正規化
• Authors: Shadi Sartipi and Edgar A. Bernal
• Abstract要約: 本稿では,従来のニューラルネットワークを学習する過程において,メモリ効率の向上を実現するためのフレームワークを提案する。 フレームワークの使用により、従来の学習技術と比較して絶対的性能と経験的一般化誤差が改善される。
• 参考スコア（独自算出の注目度）: 18.554311679277212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the prevailing trends in the machine- and deep-learning community is to gravitate towards the use of increasingly larger models in order to keep pushing the state-of-the-art performance envelope. This tendency makes access to the associated technologies more difficult for the average practitioner and runs contrary to the desire to democratize knowledge production in the field. In this paper, we propose a framework for achieving improved memory efficiency in the process of learning traditional neural networks by leveraging inductive-bias-driven network design principles and layer-wise manifold-oriented regularization objectives. Use of the framework results in improved absolute performance and empirical generalization error relative to traditional learning techniques. We provide empirical validation of the framework, including qualitative and quantitative evidence of its effectiveness on two standard image datasets, namely CIFAR-10 and CIFAR-100. The proposed framework can be seamlessly combined with existing network compression methods for further memory savings.
• Abstract（参考訳）: 機械学習とディープラーニングのコミュニティで広く普及しているトレンドの1つは、最先端のパフォーマンスエンベロープを押し続けるために、ますます大きなモデルの利用に傾くことだ。 この傾向は、関連する技術へのアクセスを平均的な実践者にとってより難しくし、この分野の知識生産を民主化したいという願望とは対照的である。 本稿では,インダクティブバイアス駆動ネットワーク設計原理とレイヤワイズ多様体指向正規化目標を活用し,従来のニューラルネットワーク学習過程におけるメモリ効率の向上を実現するためのフレームワークを提案する。 フレームワークの使用により、従来の学習技術と比較して絶対性能と経験的一般化誤差が改善される。 我々は、cifar-10とcifar-100という2つの標準画像データセットの有効性の質的、定量的な証拠を含む、フレームワークの実証的検証を提供する。 提案フレームワークは既存のネットワーク圧縮手法とシームレスに組み合わせてメモリの節約を図ることができる。

関連論文リスト

• Review of Digital Asset Development with Graph Neural Network Unlearning [0.0]
  本稿では,デジタル資産管理におけるグラフニューラルネットワーク(GNN)の重要性について検討する。 我々は,GNNアーキテクチャに特化して,革新的なアンラーニング手法を導入する。 不正検出、リスク評価、トークン関係予測、分散ガバナンスなど、さまざまなユースケースにおける適用性を強調した。
  論文  参考訳（メタデータ） (2024-09-27T05:31:04Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Towards Improving Robustness Against Common Corruptions using Mixture of Class Specific Experts [10.27974860479791]
  本稿では,クラス特化エキスパートアーキテクチャの混合として知られる新しいパラダイムを紹介する。 提案したアーキテクチャは、一般的なニューラルネットワーク構造に関連する脆弱性を軽減することを目的としている。
  論文  参考訳（メタデータ） (2023-11-16T20:09:47Z)
• Distilling Knowledge from Resource Management Algorithms to Neural Networks: A Unified Training Assistance Approach [18.841969905928337]
  本稿では,知識蒸留(KD)に基づくアルゴリズム蒸留(AD)法を提案する。 本研究は,無線通信システム最適化における従来の最適化洞察と新しいNN技術の統合の道を開くものである。
  論文  参考訳（メタデータ） (2023-08-15T00:30:58Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Multiplicative update rules for accelerating deep learning training and increasing robustness [69.90473612073767]
  我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。 提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
  論文  参考訳（メタデータ） (2023-07-14T06:44:43Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• A New Clustering-Based Technique for the Acceleration of Deep Convolutional Networks [2.7393821783237184]
  MCA(Model Compression and Acceleration)技術は、大規模な事前学習ネットワークをより小さなモデルに変換するために用いられる。 本稿では,採用したセントロイド/表現量を増やすクラスタリングに基づく手法を提案する。 これは、被雇用者に対して特別な構造を課すことによって達成され、これは、目の前の問題の特異性によって実現される。
  論文  参考訳（メタデータ） (2021-07-19T18:22:07Z)
• Embracing the Dark Knowledge: Domain Generalization Using Regularized Knowledge Distillation [65.79387438988554]
  十分なデータと代表データがない場合の一般化能力の欠如は、その実践的応用を妨げる課題の1つである。 我々はKDDG(Knowledge Distillation for Domain Generalization)という,シンプルで効果的な,プラグアンドプレイのトレーニング戦略を提案する。 教師ネットワークからの「より豊かな暗黒知識」と、我々が提案した勾配フィルタの両方が、マッピングの学習の難しさを軽減することができる。
  論文  参考訳（メタデータ） (2021-07-06T14:08:54Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。