Fugu-MT 論文翻訳(概要): HPFF: Hierarchical Locally Supervised Learning with Patch Feature Fusion

論文の概要: HPFF: Hierarchical Locally Supervised Learning with Patch Feature Fusion

arxiv url: http://arxiv.org/abs/2407.05638v2
Date: Tue, 9 Jul 2024 03:38:46 GMT
ステータス: 処理完了
システム内更新日: 2024-07-10 11:26:26.769868
Title: HPFF: Hierarchical Locally Supervised Learning with Patch Feature Fusion
Title（参考訳）: HPFF: パッチ機能融合による階層的局所教師付き学習
Authors: Junhao Su, Chenghao He, Feiyu Zhu, Xiaojie Xu, Dongzhi Guan, Chenyang Si,
Abstract要約: 本稿では,階層的局所教師付き学習とパッチレベルの特徴を補助的ネットワーク上で実現する新しいモデルを提案する。我々は, CIFAR-10, STL-10, SVHN, ImageNetのデータセットについて実験を行い, 提案したHPFFが従来の手法より有意に優れていたことを示す。
参考スコア（独自算出の注目度）: 7.9514535887836795
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Traditional deep learning relies on end-to-end backpropagation for training, but it suffers from drawbacks such as high memory consumption and not aligning with biological neural networks. Recent advancements have introduced locally supervised learning, which divides networks into modules with isolated gradients and trains them locally. However, this approach can lead to performance lag due to limited interaction between these modules, and the design of auxiliary networks occupies a certain amount of GPU memory. To overcome these limitations, we propose a novel model called HPFF that performs hierarchical locally supervised learning and patch-level feature computation on the auxiliary networks. Hierarchical Locally Supervised Learning (HiLo) enables the network to learn features at different granularity levels along their respective local paths. Specifically, the network is divided into two-level local modules: independent local modules and cascade local modules. The cascade local modules combine two adjacent independent local modules, incorporating both updates within the modules themselves and information exchange between adjacent modules. Patch Feature Fusion (PFF) reduces GPU memory usage by splitting the input features of the auxiliary networks into patches for computation. By averaging these patch-level features, it enhances the network's ability to focus more on those patterns that are prevalent across multiple patches. Furthermore, our method exhibits strong generalization capabilities and can be seamlessly integrated with existing techniques. We conduct experiments on CIFAR-10, STL-10, SVHN, and ImageNet datasets, and the results demonstrate that our proposed HPFF significantly outperforms previous approaches, consistently achieving state-of-the-art performance across different datasets. Our code is available at: https://github.com/Zeudfish/HPFF.
Abstract（参考訳）: 従来のディープラーニングは、トレーニングのエンドツーエンドのバックプロパゲーションに依存しているが、高いメモリ消費や生物学的ニューラルネットワークとの整合性といった欠点に悩まされている。最近の進歩は、ネットワークを独立した勾配を持つモジュールに分割し、それらをローカルに訓練するローカル教師あり学習を導入している。しかし、このアプローチは、これらのモジュール間の相互作用が限られているため、パフォーマンスの遅れにつながる可能性があり、補助ネットワークの設計は、一定の量のGPUメモリを占有する。これらの制約を克服するため,我々はHPFFと呼ばれる新しいモデルを提案し,補助ネットワーク上で階層的な局所教師付き学習とパッチレベルの特徴計算を行う。 HiLo(Hierarchical Locally Supervised Learning)は、ネットワークがそれぞれのローカルパスに沿って異なる粒度レベルで特徴を学習できるようにする。具体的には、ネットワークは2段階のローカルモジュール(独立ローカルモジュールとカスケードローカルモジュール)に分けられる。カスケード局所加群は、隣接する2つの独立な局所加群を結合し、モジュール自体に更新と、隣接する加群間の情報交換の両方を組み込む。 PFF(Patch Feature Fusion)は、補助ネットワークの入力機能を計算用のパッチに分割することで、GPUメモリの使用を減らす。これらのパッチレベルの機能を平均化することにより、複数のパッチにまたがるパターンにより集中するネットワークの能力を高めることができる。さらに,本手法は強力な一般化能力を示し,既存の手法とシームレスに統合することができる。我々は, CIFAR-10, STL-10, SVHN, ImageNetのデータセットに対して実験を行い, 提案したHPFFが従来より大幅に優れており, 常に異なるデータセットにおける最先端性能を実現していることを示す。私たちのコードは、https://github.com/Zeudfish/HPFF.comで利用可能です。

関連論文リスト

Momentum Auxiliary Network for Supervised Local Learning [7.5717621206854275]
改良されたローカル学習セグメントは、独立した補助ネットワークによって更新された複数のローカルブロックにネットワークを分割する。動的相互作用機構を確立するためのMAN(Momentum Auxiliary Network)を提案する。エンドツーエンドのトレーニングに比べて,ImageNetデータセットではGPUメモリ使用率を45%以上削減できる。
論文参考訳（メタデータ） (2024-07-08T05:31:51Z)
MLAAN: Scaling Supervised Local Learning with Multilaminar Leap Augmented Auxiliary Network [4.396837128416218]
MLAAN(Multilaminar Leap Augmented Auxiliary Network)を提案する。 MLAANは、独立およびカスケードされた補助ネットワークを通じて、ローカルおよびグローバル両方の特徴をキャプチャする。さらに,ローカルモジュール間の情報交換を容易にするために,指数移動平均 (EMA) 法を用いた拡張補助ネットワーク LAM を設計する。 CIFAR-10, STL-10, SVHN, ImageNetデータセットを用いた実験により, MLAANが既存のローカル学習フレームワークにシームレスに統合可能であることを示す。
論文参考訳（メタデータ） (2024-06-24T13:30:55Z)
Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。提案手法はローカルBPとBPフリー設定の両方に統合できる。
論文参考訳（メタデータ） (2024-06-07T19:10:31Z)
Go beyond End-to-End Training: Boosting Greedy Local Learning with Context Supply [0.12187048691454236]
ゆるやかなローカル学習は、ネットワークを勾配に分離したモジュールに分割し、局所的な予備的損失に基づいて監督的に訓練する。勾配分離モジュールのセグメンテーション数が増加するにつれて、局所学習方式の性能は大幅に低下する。本稿では,情報損失を補うために,分離モジュール間のコンテキスト供給を組み込んだContSupスキームを提案する。
論文参考訳（メタデータ） (2023-12-12T10:25:31Z)
Local Learning with Neuron Groups [15.578925277062657]
局所学習はモデル並列性に対するアプローチであり、標準のエンドツーエンドの学習設定を取り除く。本研究では,局所学習をレイヤやモジュールをサブコンポーネントに分割する方法について検討する。
論文参考訳（メタデータ） (2023-01-18T16:25:10Z)
Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文参考訳（メタデータ） (2022-10-14T18:00:07Z)
Semi-Supervised Semantic Segmentation with Cross Teacher Training [14.015346488847902]
本研究は,従来の半教師あり学習アプローチを大幅に改善する3つのモジュールを用いた教員間学習フレームワークを提案する。コアはクロス教師モジュールであり、ピアネットワーク間の結合と教師と学生ネットワーク間のエラー蓄積を同時に低減することができる。高レベルモジュールはラベル付きデータからラベルなしデータに高品質な知識を転送し、特徴空間におけるクラス間の分離を促進する。低レベルのモジュールは、ピアネットワーク間の高品質な機能から学習する低品質の機能を促進することができる。
論文参考訳（メタデータ） (2022-09-03T05:02:03Z)
PRA-Net: Point Relation-Aware Network for 3D Point Cloud Analysis [56.91758845045371]
我々はポイント関係認識ネットワーク(PRA-Net)という新しいフレームワークを提案する。領域内構造学習(ISL)モジュールと領域間関係学習(IRL)モジュールで構成されている。形状分類,キーポイント推定,部分セグメンテーションを含む複数の3次元ベンチマーク実験により,PRA-Netの有効性と性能が検証された。
論文参考訳（メタデータ） (2021-12-09T13:24:43Z)
Global Aggregation then Local Distribution for Scene Parsing [99.1095068574454]
提案手法は,エンドツーエンドのトレーニング可能なブロックとしてモジュール化され,既存のセマンティックセグメンテーションネットワークに容易に接続可能であることを示す。私たちのアプローチでは、Cityscapes、ADE20K、Pascal Context、Camvid、COCO-stuffといった主要なセマンティックセグメンテーションベンチマークに基づいて、新しい最先端の技術を構築できます。
論文参考訳（メタデータ） (2021-07-28T03:46:57Z)
Conformer: Local Features Coupling Global Representations for Visual Recognition [72.9550481476101]
本稿では,畳み込み操作と自己アテンション機構を利用した表現学習のためのハイブリッドネットワーク構造,conformerを提案する。実験では、コンフォーマーが同等のパラメータ複雑性の下で視覚変換器(DeiT-B)を2.3%上回ることが示されている。
論文参考訳（メタデータ） (2021-05-09T10:00:03Z)
Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
論文参考訳（メタデータ） (2020-10-15T20:43:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。