Fugu-MT 論文翻訳(概要): MLAAN: Scaling Supervised Local Learning with Multilaminar Leap Augmented Auxiliary Network

論文の概要: MLAAN: Scaling Supervised Local Learning with Multilaminar Leap Augmented Auxiliary Network

arxiv url: http://arxiv.org/abs/2406.16633v1
Date: Mon, 24 Jun 2024 13:30:55 GMT
ステータス: 処理完了
システム内更新日: 2024-06-25 14:44:42.801614
Title: MLAAN: Scaling Supervised Local Learning with Multilaminar Leap Augmented Auxiliary Network
Title（参考訳）: MLAAN: Multilaminar Leap Augmented Auxiliary Network によるローカル学習のスケールアップ
Authors: Yuming Zhang, Shouxin Zhang, Peizhe Wang, Feiyu Zhu, Dongzhi Guan, Jiabin Liu, Changpeng Cai,
Abstract要約: ローカル学習は、E2Eの代替として約束を守る新しいインタラクティブな訓練方法と考えられている。従来の局所学習手法は, 局所的モジュール間相互作用が不十分なため, 高精度なモデル精度を実現するには不十分である。マルチラミナリープ拡張補助ネットワーク(MLAAN)を用いたScaling Supervised Local Learningと呼ばれる新しいモデルを導入する。
参考スコア（独自算出の注目度）: 4.586209809964039
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: End-to-end (E2E) training approaches are commonly plagued by high memory consumption, reduced efficiency in training, challenges in model parallelization, and suboptimal biocompatibility. Local learning is considered a novel interactive training method that holds promise as an alternative to E2E. Nonetheless, conventional local learning methods fall short in achieving high model accuracy due to inadequate local inter-module interactions. In this paper, we introduce a new model known as the Scaling Supervised Local Learning with Multilaminar Leap Augmented Auxiliary Network (MLAAN). MLAAN features an innovative supervised local learning approach coupled with a robust reinforcement module. This dual-component design enables the MLAAN to integrate smoothly with established local learning techniques, thereby enhancing the efficacy of the foundational methods. The method simultaneously acquires the local and global features of the model separately by constructing an independent auxiliary network and a cascade auxiliary network on the one hand and incorporates a leap augmented module, which serves to counteract the reduced learning capacity often associated with weaker supervision. This architecture not only augments the exchange of information amongst the local modules but also effectively mitigates the model's tendency toward myopia. The experimental evaluations conducted on four benchmark datasets, CIFAR-10, STL-10, SVHN, and ImageNet, demonstrate that the integration of MLAAN with existing supervised local learning methods significantly enhances the original methodologies. Of particular note, MLAAN enables local learning methods to comprehensively outperform end-to-end training approaches in terms of optimal performance while saving GPU memory.
Abstract（参考訳）: エンド・ツー・エンド(E2E)のトレーニングアプローチは、一般的に、高メモリ消費、トレーニングの効率の低下、モデルの並列化の課題、および準最適生体適合性に悩まされている。ローカル学習は、E2Eの代替として約束を守る新しいインタラクティブな訓練方法と考えられている。それにもかかわらず、従来の局所学習手法は、不適切な局所的なモジュール間相互作用のために高いモデル精度を達成するには不十分である。本稿では,Multilaminar Leap Augmented Auxiliary Network (MLAAN)を用いたScaling Supervised Local Learningと呼ばれる新しいモデルを提案する。 MLAANは、堅牢な強化モジュールと組み合わせた、革新的な教師付きローカル学習アプローチを備えている。この二重成分設計により、MLAANは確立した局所学習技術とスムーズに統合でき、基礎的手法の有効性を高めることができる。独立補助ネットワークとカスケード補助ネットワークを一方に構築することにより、モデルの局所的・大域的特徴を別々に獲得し、より弱い監督に伴う学習能力の低下に対処する跳躍増進モジュールを具備する。このアーキテクチャは、局所的なモジュール間の情報の交換を増大させるだけでなく、ミオピアに対するモデルの傾向を効果的に緩和する。 CIFAR-10, STL-10, SVHN, ImageNet の4つのベンチマークデータセットで行った実験により, MLAAN と既存の教師付き局所学習手法の統合が元の方法論を大幅に強化することを示した。特に、MLAANは、GPUメモリを節約しながら最適なパフォーマンスでエンドツーエンドのトレーニングアプローチを総合的に上回るローカル学習方法を提供する。

関連論文リスト

HPFF: Hierarchical Locally Supervised Learning with Patch Feature Fusion [7.9514535887836795]
本稿では,階層的局所教師付き学習とパッチレベルの特徴を補助的ネットワーク上で実現する新しいモデルを提案する。我々は, CIFAR-10, STL-10, SVHN, ImageNetのデータセットについて実験を行い, 提案したHPFFが従来の手法より有意に優れていたことを示す。
論文参考訳（メタデータ） (2024-07-08T06:05:19Z)
Local Methods with Adaptivity via Scaling [71.11111992280566]
本稿では,局所的な学習手法と適応的アプローチを融合して,効率的な分散学習手法を開発することを目的とする。従来のローカルSGD法について検討し,スケーリング機能により拡張する。理論的解析に加えて,ニューラルネットワークのトレーニングにより,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-06-02T19:50:05Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
論文参考訳（メタデータ） (2024-03-18T08:00:23Z)
Local Learning with Neuron Groups [15.578925277062657]
局所学習はモデル並列性に対するアプローチであり、標準のエンドツーエンドの学習設定を取り除く。本研究では,局所学習をレイヤやモジュールをサブコンポーネントに分割する方法について検討する。
論文参考訳（メタデータ） (2023-01-18T16:25:10Z)
Improving Rare Word Recognition with LM-aware MWER Training [50.241159623691885]
本稿では,ハイブリッド自己回帰変換器(HAT)モデルを識別訓練フレームワークで学習する際のLMを紹介する。浅層核融合では,仮説生成と損失計算の両方でLMを用いており,LM対応MWER学習モデルでは相対的な10%の改善が達成されている。再構成セットアップでは、小さなニューラルネットワークモジュールを学習し、データ依存の方法で核融合重みを生成する。
論文参考訳（メタデータ） (2022-04-15T17:19:41Z)
Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
論文参考訳（メタデータ） (2021-12-17T11:56:56Z)
Real-time End-to-End Federated Learning: An Automotive Case Study [16.79939549201032]
本稿では,新しい非同期モデルアグリゲーションプロトコルと組み合わさったリアルタイムエンドツーエンドフェデレーション学習のアプローチを提案する。その結果,非同期フェデレーション学習は,局所エッジモデルの予測性能を大幅に向上させ,集中型機械学習法と同じ精度に到達できることがわかった。
論文参考訳（メタデータ） (2021-03-22T14:16:16Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)
Improving Robot Dual-System Motor Learning with Intrinsically Motivated Meta-Control and Latent-Space Experience Imagination [17.356402088852423]
本稿では,メタコントローラがモデルベースとモデルフリーの判断をオンラインに調停する,新しいデュアルシステムモーター学習手法を提案する。シミュレーションと実世界における視覚に基づくロボットグリップ学習におけるベースラインと最先端の手法に対する我々のアプローチを評価する。
論文参考訳（メタデータ） (2020-04-19T12:14:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。