Fugu-MT 論文翻訳(概要): Replacement Learning: Training Vision Tasks with Fewer Learnable Parameters

論文の概要: Replacement Learning: Training Vision Tasks with Fewer Learnable Parameters

arxiv url: http://arxiv.org/abs/2410.01239v1
Date: Wed, 2 Oct 2024 05:03:54 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 22:18:46.975870
Title: Replacement Learning: Training Vision Tasks with Fewer Learnable Parameters
Title（参考訳）: 代替学習:学習可能なパラメータが少ないビジョンタスクの訓練
Authors: Yuming Zhang, Peizhe Wang, Shouxin Zhang, Dongzhi Guan, Jiabin Liu, Junhao Su,
Abstract要約: 置換学習は、冷凍層の全パラメータを2つの学習可能なパラメータで置き換える。 CIFAR-10, STL-10, SVHN, ImageNetの4つのベンチマークデータセットを対象に実験を行った。提案手法は,エンドツーエンドトレーニングの性能を完全に超えながら,パラメータ数,トレーニング時間,メモリ使用量を削減する。
参考スコア（独自算出の注目度）: 4.2114456503277315
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Traditional end-to-end deep learning models often enhance feature representation and overall performance by increasing the depth and complexity of the network during training. However, this approach inevitably introduces issues of parameter redundancy and resource inefficiency, especially in deeper networks. While existing works attempt to skip certain redundant layers to alleviate these problems, challenges related to poor performance, computational complexity, and inefficient memory usage remain. To address these issues, we propose an innovative training approach called Replacement Learning, which mitigates these limitations by completely replacing all the parameters of the frozen layers with only two learnable parameters. Specifically, Replacement Learning selectively freezes the parameters of certain layers, and the frozen layers utilize parameters from adjacent layers, updating them through a parameter integration mechanism controlled by two learnable parameters. This method leverages information from surrounding structures, reduces computation, conserves GPU memory, and maintains a balance between historical context and new inputs, ultimately enhancing overall model performance. We conducted experiments across four benchmark datasets, including CIFAR-10, STL-10, SVHN, and ImageNet, utilizing various architectures such as CNNs and ViTs to validate the effectiveness of Replacement Learning. Experimental results demonstrate that our approach reduces the number of parameters, training time, and memory consumption while completely surpassing the performance of end-to-end training.
Abstract（参考訳）: 従来のエンドツーエンドのディープラーニングモデルは、トレーニング中のネットワークの深さと複雑さを増大させることで、機能表現と全体的なパフォーマンスを向上させることが多い。しかし,本手法は,特に深層ネットワークにおいて,パラメータ冗長性と資源非効率性の問題を必然的に導入する。既存の作業では、これらの問題を緩和するためにある種の冗長なレイヤをスキップしようとするが、パフォーマンスの低下、計算の複雑さ、メモリ使用効率の低下に関連する課題が残っている。これらの問題に対処するために,冷凍層の全パラメータを2つの学習可能なパラメータに置き換えることで,これらの制限を緩和するReplacement Learningという,革新的なトレーニング手法を提案する。具体的には、置換学習は特定の層のパラメータを選択的に凍結し、凍結した層は隣接する層のパラメータを利用し、2つの学習可能なパラメータによって制御されるパラメータ統合機構を通じてそれらを更新する。この方法は、周辺構造からの情報を活用し、計算を減らし、GPUメモリを保存し、履歴コンテキストと新しい入力のバランスを維持し、最終的に全体のモデル性能を向上させる。 CIFAR-10, STL-10, SVHN, ImageNet の4つのベンチマークデータセットを用いて, CNN や ViT などのアーキテクチャを用いて, 置換学習の有効性を検証する実験を行った。実験結果から,本手法は,エンドツーエンドトレーニングの性能を大幅に超えながら,パラメータ数,トレーニング時間,メモリ消費を減少させることを示した。

関連論文リスト

SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。初期経路では、中間出力は反冗長動作によって統合される。遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文参考訳（メタデータ） (2024-07-10T10:22:35Z)
Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
論文参考訳（メタデータ） (2024-07-09T15:45:04Z)
EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
論文参考訳（メタデータ） (2024-01-11T04:59:44Z)
Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文参考訳（メタデータ） (2023-06-21T01:43:25Z)
Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文参考訳（メタデータ） (2022-04-02T09:50:19Z)
Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文参考訳（メタデータ） (2022-02-21T13:25:03Z)
Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文参考訳（メタデータ） (2021-03-25T01:48:14Z)
Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
論文参考訳（メタデータ） (2021-03-04T08:14:10Z)
Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
論文参考訳（メタデータ） (2020-06-30T06:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。