論文の概要: MAN++: Scaling Momentum Auxiliary Network for Supervised Local Learning in Vision Tasks

• arxiv url: http://arxiv.org/abs/2507.16279v1
• Date: Tue, 22 Jul 2025 06:50:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:13.996941
• Title: MAN++: Scaling Momentum Auxiliary Network for Supervised Local Learning in Vision Tasks
• Title（参考訳）: MAN++:視覚タスクにおける局所学習のためのモーメントウム補助ネットワークのスケーリング
• Authors: Junhao Su, Feiyu Zhu, Hengyu Shi, Tianyang Han, Yurui Qiu, Junfeng Luo, Xiaoming Wei, Jialin Gao,
• Abstract要約: ローカル学習を教師するMOmentum Auxiliary Network++ (MAN++) を提案する。 MAN++は、GPUメモリ使用量を大幅に削減しつつ、エンドツーエンドのトレーニングに匹敵するパフォーマンスを実現していることを示す。
• 参考スコア（独自算出の注目度）: 10.200277827846076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning typically relies on end-to-end backpropagation for training, a method that inherently suffers from issues such as update locking during parameter optimization, high GPU memory consumption, and a lack of biological plausibility. In contrast, supervised local learning seeks to mitigate these challenges by partitioning the network into multiple local blocks and designing independent auxiliary networks to update each block separately. However, because gradients are propagated solely within individual local blocks, performance degradation occurs, preventing supervised local learning from supplanting end-to-end backpropagation. To address these limitations and facilitate inter-block information flow, we propose the Momentum Auxiliary Network++ (MAN++). MAN++ introduces a dynamic interaction mechanism by employing the Exponential Moving Average (EMA) of parameters from adjacent blocks to enhance communication across the network. The auxiliary network, updated via EMA, effectively bridges the information gap between blocks. Notably, we observed that directly applying EMA parameters can be suboptimal due to feature discrepancies between local blocks. To resolve this issue, we introduce a learnable scaling bias that balances feature differences, thereby further improving performance. We validate MAN++ through extensive experiments on tasks that include image classification, object detection, and image segmentation, utilizing multiple network architectures. The experimental results demonstrate that MAN++ achieves performance comparable to end-to-end training while significantly reducing GPU memory usage. Consequently, MAN++ offers a novel perspective for supervised local learning and presents a viable alternative to conventional training methods.
• Abstract（参考訳）: ディープラーニングは通常、トレーニングのエンドツーエンドのバックプロパゲーションに依存しており、パラメータ最適化中の更新ロック、高いGPUメモリ消費、生物学的な妥当性の欠如といった問題に本質的に苦しんでいる。 対照的に、教師付きローカル学習は、ネットワークを複数のローカルブロックに分割し、各ブロックを個別に更新する独立した補助ネットワークを設計することで、これらの課題を軽減することを目指している。 しかし、勾配は個々の局所ブロック内でのみ伝播するため、性能劣化が発生し、教師付き局所学習がエンドツーエンドのバックプロパゲーションに取って代わるのを防ぐ。 これらの制限に対処し、ブロック間情報の流れを容易にするために、Momentum Auxiliary Network++ (MAN++)を提案する。 MAN++は、ネットワーク間の通信を強化するために、隣接するブロックからパラメータの指数移動平均(EMA)を利用することによって動的相互作用機構を導入する。 EMAによって更新された補助ネットワークは、ブロック間の情報ギャップを効果的にブリッジする。 特に,局所ブロック間の特徴の相違により,EMAパラメータの直接適用が最適以下であることが観察された。 この問題を解決するために,特徴差のバランスをとる学習可能なスケーリングバイアスを導入し,パフォーマンスをさらに向上する。 我々は、複数のネットワークアーキテクチャを利用して、画像分類、オブジェクト検出、画像分割を含むタスクに関する広範な実験を通じてMAN++を検証する。 実験の結果、MAN++はGPUメモリ使用量を大幅に削減しつつ、エンドツーエンドのトレーニングに匹敵するパフォーマンスを実現していることが示された。 その結果、MAN++は教師付きローカル学習の新しい視点を提供し、従来のトレーニング手法に代わる実行可能な選択肢を提供する。

関連論文リスト

• TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
  本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。 タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。 視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2025-06-12T05:25:35Z)
• Without Paired Labeled Data: End-to-End Self-Supervised Learning for Drone-view Geo-Localization [2.733505168507872]
  ドローンビュージオローカライゼーション(DVGL)は、GPSタグ付き衛星画像を取得することで、ドローンの正確なローカライゼーションを実現することを目的としている。 既存の手法は、教師あり学習のために、厳密にペアリングされたドローン衛星画像に大きく依存している。 浅いバックボーンネットワークを用いたエンドツーエンドの自己教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T02:53:08Z)
• HPFF: Hierarchical Locally Supervised Learning with Patch Feature Fusion [7.9514535887836795]
  本稿では,階層的局所教師付き学習とパッチレベルの特徴を補助的ネットワーク上で実現する新しいモデルを提案する。 我々は, CIFAR-10, STL-10, SVHN, ImageNetのデータセットについて実験を行い, 提案したHPFFが従来の手法より有意に優れていたことを示す。
  論文  参考訳（メタデータ） (2024-07-08T06:05:19Z)
• Momentum Auxiliary Network for Supervised Local Learning [7.5717621206854275]
  改良されたローカル学習セグメントは、独立した補助ネットワークによって更新された複数のローカルブロックにネットワークを分割する。 動的相互作用機構を確立するためのMAN(Momentum Auxiliary Network)を提案する。 エンドツーエンドのトレーニングに比べて,ImageNetデータセットではGPUメモリ使用率を45%以上削減できる。
  論文  参考訳（メタデータ） (2024-07-08T05:31:51Z)
• Unlocking Deep Learning: A BP-Free Approach for Parallel Block-Wise Training of Neural Networks [9.718519843862937]
  ブロックワイズBPフリー(BWBPF)ニューラルネットワークを導入し、局所誤差信号を利用してサブニューラルネットワークを個別に最適化する。 実験結果から,VGGとResNetのバラツキに対して,トランスファー可能な疎結合アーキテクチャを同定できることがわかった。
  論文  参考訳（メタデータ） (2023-12-20T08:02:33Z)
• CMFDFormer: Transformer-based Copy-Move Forgery Detection with Continual Learning [52.72888626663642]
  コピーモーブ偽造検出は、疑わしい偽画像中の重複領域を検出することを目的としている。 深層学習に基づく複写偽造検出手法が最上位にある。 CMFDFormer という名称の Transformer-style copy-move forgery ネットワークを提案する。 また、CMFDFormerが新しいタスクを処理できるように、新しいPCSD連続学習フレームワークを提供する。
  論文  参考訳（メタデータ） (2023-11-22T09:27:46Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Block-local learning with probabilistic latent representations [2.839567756494814]
  ロックとウェイトトランスポートは、トレーニングプロセスの効率的な並列化と水平スケーリングを防止するためである。 本稿では,これらの問題に対処し,大規模モデルのトレーニングをスケールアップするための新しい手法を提案する。 各種タスクやアーキテクチャについて,ブロック局所学習を用いた最先端性能の実証を行った。
  論文  参考訳（メタデータ） (2023-05-24T10:11:30Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。