論文の概要: Enhancing Accuracy and Parameter-Efficiency of Neural Representations for Network Parameterization
- arxiv url: http://arxiv.org/abs/2407.00356v1
- Date: Sat, 29 Jun 2024 08:07:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 03:35:30.644706
- Title: Enhancing Accuracy and Parameter-Efficiency of Neural Representations for Network Parameterization
- Title(参考訳): ネットワークパラメータ化のためのニューラルネットワーク表現の精度とパラメータ効率の向上
- Authors: Hongjun Choi, Jayaraman J. Thiagarajan, Ruben Glatt, Shusen Liu,
- Abstract要約: 予測器ネットワークを用いたニューラルネットワーク重みのパラメータ化における精度とパラメータ効率に関する基本的なトレードオフについて検討する。
従来のモデル精度の回復が唯一の目的である場合、重量復元目的だけで効果的に達成できるという驚くべき発見を提示する。
- 参考スコア(独自算出の注目度): 23.72263341256432
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we investigate the fundamental trade-off regarding accuracy and parameter efficiency in the parameterization of neural network weights using predictor networks. We present a surprising finding that, when recovering the original model accuracy is the sole objective, it can be achieved effectively through the weight reconstruction objective alone. Additionally, we explore the underlying factors for improving weight reconstruction under parameter-efficiency constraints, and propose a novel training scheme that decouples the reconstruction objective from auxiliary objectives such as knowledge distillation that leads to significant improvements compared to state-of-the-art approaches. Finally, these results pave way for more practical scenarios, where one needs to achieve improvements on both model accuracy and predictor network parameter-efficiency simultaneously.
- Abstract(参考訳): 本研究では,予測ネットワークを用いたニューラルネットワーク重みのパラメータ化における精度とパラメータ効率に関する基本的なトレードオフについて検討する。
従来のモデル精度の回復が唯一の目的である場合、重量復元目的だけで効果的に達成できるという驚くべき発見を提示する。
さらに, パラメータ効率制約下での重量再現性向上の基礎的要因について検討し, 知識蒸留などの補助的目的から再構築目標を分離する新たなトレーニング手法を提案する。
最後に、これらの結果は、モデル精度と予測ネットワークパラメータ効率の両方の改善を同時に達成する必要がある、より実用的なシナリオに道を開く。
関連論文リスト
- See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。
分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。
本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
論文 参考訳(メタデータ) (2024-07-07T15:44:42Z) - Sine Activated Low-Rank Matrices for Parameter Efficient Learning [25.12262017296922]
低ランク分解過程に正弦波関数を統合する新しい理論枠組みを提案する。
我々の手法は、視覚変換器(ViT)、Large Language Models(LLM)、NeRF(Neural Radiance Fields)において、既存の低ランクモデルの強化を証明している。
論文 参考訳(メタデータ) (2024-03-28T08:58:20Z) - Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks [0.0]
この研究は、勾配サンプリング最適化技術、特にStochGradAdamをニューラルネットワークのプルーニングプロセスに統合するパイオニアとなる。
我々の主な目的は、資源制約のあるシナリオにおいて重要なプルーニングニューラルネットワークモデルの精度を維持するという重要な課題に対処することである。
論文 参考訳(メタデータ) (2023-12-26T12:19:22Z) - Bayesian optimization for sparse neural networks with trainable
activation functions [0.0]
パラメータを推定する必要があるトレーニング可能なアクティベーション関数を提案する。
モデル重みとアクティベーション関数パラメータの両方から学習データから自動的に推定する完全ベイズモデルを開発した。
論文 参考訳(メタデータ) (2023-04-10T08:44:44Z) - Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。
学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。
提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
論文 参考訳(メタデータ) (2021-11-11T23:31:34Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-01T10:03:57Z) - ReMP: Rectified Metric Propagation for Few-Shot Learning [67.96021109377809]
修正されたメートル法空間は、トレーニングからテストまでのメートル法一貫性を維持するために学習される。
多くの分析結果から、目的の単純な修正がかなりの性能向上をもたらすことが示唆された。
提案したReMPは効率的で効率的であり、様々な標準的な数発の学習データセットで芸術の状態を上回ります。
論文 参考訳(メタデータ) (2020-12-02T00:07:53Z) - Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。
最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。
現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。
まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
論文 参考訳(メタデータ) (2020-07-13T16:56:27Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - Exploring the Vulnerability of Deep Neural Networks: A Study of
Parameter Corruption [40.76024057426747]
本稿では,ニューラルネットワークパラメータのロバスト性を評価する指標を提案する。
現実的な目的のために、ランダムな汚職裁判よりもはるかに効果的である勾配に基づく評価を与える。
論文 参考訳(メタデータ) (2020-06-10T02:29:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。