論文の概要: Advancing Supervised Local Learning Beyond Classification with Long-term Feature Bank

• arxiv url: http://arxiv.org/abs/2406.00446v3
• Date: Tue, 15 Oct 2024 07:33:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 10:09:23.743383
• Title: Advancing Supervised Local Learning Beyond Classification with Long-term Feature Bank
• Title（参考訳）: 長期的特徴銀行を用いた地域学習の指導
• Authors: Feiyu Zhu, Yuming Zhang, Changpeng Cai, Chenghao He, Xiuyuan Guo, Jiao Li, Peizhe Wang, Junhao Su, Jialin Gao,
• Abstract要約: ローカル学習は、ディープニューラルネットワークにおける従来のエンドツーエンドのバックエンドの代替手段を提供する。 Memory-augmented Auxiliary Network (MAN)は、シンプルな設計原則を導入し、マルチタスク適応性とコミュニケーションを強化する機能バンクを組み込んでいる。 MANはGPUメモリを保存するだけでなく、さまざまなビジュアルタスクのために複数のデータセットにまたがるエンドツーエンドのアプローチと同等のパフォーマンスを達成している。
• 参考スコア（独自算出の注目度）: 4.385566366053695
• License:
• Abstract: Local learning offers an alternative to traditional end-to-end back-propagation in deep neural networks, significantly reducing GPU memory usage. While local learning has shown promise in image classification tasks, its application to other visual tasks remains limited. This limitation arises primarily from two factors: 1) architectures tailored for classification are often not transferable to other tasks, leading to a lack of reusability of task-specific knowledge; 2) the absence of cross-scale feature communication results in degraded performance in tasks such as object detection and super-resolution. To address these challenges, we propose the Memory-augmented Auxiliary Network (MAN), which introduces a simplified design principle and incorporates a feature bank to enhance cross-task adaptability and communication. This work represents the first successful application of local learning methods beyond classification, demonstrating that MAN not only conserves GPU memory but also achieves performance on par with end-to-end approaches across multiple datasets for various visual tasks.
• Abstract（参考訳）: ローカル学習は、ディープニューラルネットワークにおける従来のエンドツーエンドのバックエンドの代替手段であり、GPUメモリ使用量を大幅に削減する。 局所学習は画像分類タスクにおいて有望であるが、他の視覚タスクへの応用は依然として限られている。 この制限は主に2つの要因から生じる。 1) 分類に適したアーキテクチャは、しばしば他のタスクに転送できないため、タスク固有の知識の再利用性の欠如につながる。 2) オブジェクト検出や超解像処理などのタスクにおいて, クロススケールな特徴通信が欠如しているため, 性能が低下する。 これらの課題に対処するため,メモリ拡張型補助ネットワーク (MAN) を提案し,シンプルな設計原理を導入し,マルチタスク適応性と通信性を高める機能バンクを組み込んだ。 MANはGPUメモリを保存するだけでなく、さまざまなビジュアルタスクのために複数のデータセットにまたがるエンドツーエンドのアプローチと同等のパフォーマンスを達成している。

関連論文リスト

• Multi-task Learning with 3D-Aware Regularization [55.97507478913053]
  本稿では,画像エンコーダから抽出した特徴を共有3D特徴空間に投影することで,複数のタスクをインタフェースする構造化3D認識正規化器を提案する。 提案手法はアーキテクチャ非依存であり,従来のマルチタスクバックボーンにプラグインすることで,性能を向上できることを示す。
  論文  参考訳（メタデータ） (2023-10-02T08:49:56Z)
• Task-Attentive Transformer Architecture for Continual Learning of Vision-and-Language Tasks Using Knowledge Distillation [18.345183818638475]
  連続学習(CL)は、逐次到着するタスク間で知識伝達を可能にすることで、治療の役割を果たす。 バイモーダル・ビジョン・アンド・ランゲージ・タスクを学習するためのトランスフォーマーベースのCLアーキテクチャを開発した。 私たちのアプローチは、メモリと時間のオーバーヘッドが少ないため、多数のタスクにスケーラブルに学習するものです。
  論文  参考訳（メタデータ） (2023-03-25T10:16:53Z)
• Dense Network Expansion for Class Incremental Learning [61.00081795200547]
  最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。 精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。 従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
  論文  参考訳（メタデータ） (2023-03-22T16:42:26Z)
• Improving Long-tailed Object Detection with Image-Level Supervision by Multi-Task Collaborative Learning [18.496765732728164]
  マルチタスク協調方式において,画像レベルの監視を活用して検出能力を向上する新しいフレームワークCLISを提案する。 CLISは、テールカテゴリーを10.1ポイント改善した31.1のAPを達成し、新しい最先端技術を確立した。
  論文  参考訳（メタデータ） (2022-10-11T16:02:14Z)
• Rethinking Task-Incremental Learning Baselines [5.771817160915079]
  本稿では,タスク・インクリメンタル・ラーニングのための簡易かつ効果的な調整ネットワーク(SAN)を提案する。 本研究では,3Dポイントクラウドオブジェクト (ModelNet40) と2Dイメージ (CIFAR10, CIFAR100, MiniImageNet, MNIST, PermutedMNIST, notMNIST, SVHN, FashionMNIST) の認識タスクについて検討する。
  論文  参考訳（メタデータ） (2022-05-23T14:52:38Z)
• Counting with Adaptive Auxiliary Learning [23.715818463425503]
  本稿では,オブジェクトカウント問題に対する適応型補助的タスク学習に基づくアプローチを提案する。 本研究では,タスク共有とタスクカスタマイズの両機能学習を実現するために,アダプティブ・アダプティブ・アダプティブ・共有バックボーンネットワークを開発した。 本手法は,現在最先端のタスク学習に基づくカウント手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-03-08T13:10:17Z)
• Center Loss Regularization for Continual Learning [0.0]
  一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。 提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。 提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
  論文  参考訳（メタデータ） (2021-10-21T17:46:44Z)
• Distribution Alignment: A Unified Framework for Long-tail Visual Recognition [52.36728157779307]
  長尾視覚認識のための分散アライメント戦略を提案する。 次に,二段階学習における一般化された再重み付け法を導入して,事前のクラスバランスをとる。 提案手法は, 4つの認識タスクすべてにおいて, 単純で統一されたフレームワークを用いて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-03-30T14:09:53Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。