論文の概要: Advancing Supervised Local Learning Beyond Classification with Long-term Feature Bank

• arxiv url: http://arxiv.org/abs/2406.00446v3
• Date: Tue, 15 Oct 2024 07:33:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:33.147928
• Title: Advancing Supervised Local Learning Beyond Classification with Long-term Feature Bank
• Title（参考訳）: 長期的特徴銀行を用いた地域学習の指導
• Authors: Feiyu Zhu, Yuming Zhang, Changpeng Cai, Chenghao He, Xiuyuan Guo, Jiao Li, Peizhe Wang, Junhao Su, Jialin Gao,
• Abstract要約: ローカル学習は、ディープニューラルネットワークにおける従来のエンドツーエンドのバックエンドの代替手段を提供する。 Memory-augmented Auxiliary Network (MAN)は、シンプルな設計原則を導入し、マルチタスク適応性とコミュニケーションを強化する機能バンクを組み込んでいる。 MANはGPUメモリを保存するだけでなく、さまざまなビジュアルタスクのために複数のデータセットにまたがるエンドツーエンドのアプローチと同等のパフォーマンスを達成している。
• 参考スコア（独自算出の注目度）: 4.385566366053695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Local learning offers an alternative to traditional end-to-end back-propagation in deep neural networks, significantly reducing GPU memory usage. While local learning has shown promise in image classification tasks, its application to other visual tasks remains limited. This limitation arises primarily from two factors: 1) architectures tailored for classification are often not transferable to other tasks, leading to a lack of reusability of task-specific knowledge; 2) the absence of cross-scale feature communication results in degraded performance in tasks such as object detection and super-resolution. To address these challenges, we propose the Memory-augmented Auxiliary Network (MAN), which introduces a simplified design principle and incorporates a feature bank to enhance cross-task adaptability and communication. This work represents the first successful application of local learning methods beyond classification, demonstrating that MAN not only conserves GPU memory but also achieves performance on par with end-to-end approaches across multiple datasets for various visual tasks.
• Abstract（参考訳）: ローカル学習は、ディープニューラルネットワークにおける従来のエンドツーエンドのバックエンドの代替手段であり、GPUメモリ使用量を大幅に削減する。 局所学習は画像分類タスクにおいて有望であるが、他の視覚タスクへの応用は依然として限られている。 この制限は主に2つの要因から生じる。 1) 分類に適したアーキテクチャは、しばしば他のタスクに転送できないため、タスク固有の知識の再利用性の欠如につながる。 2) オブジェクト検出や超解像処理などのタスクにおいて, クロススケールな特徴通信が欠如しているため, 性能が低下する。 これらの課題に対処するため,メモリ拡張型補助ネットワーク (MAN) を提案し,シンプルな設計原理を導入し,マルチタスク適応性と通信性を高める機能バンクを組み込んだ。 MANはGPUメモリを保存するだけでなく、さまざまなビジュアルタスクのために複数のデータセットにまたがるエンドツーエンドのアプローチと同等のパフォーマンスを達成している。

関連論文リスト

• Relax DARTS: Relaxing the Constraints of Differentiable Architecture Search for Eye Movement Recognition [9.905155497581815]
  眼球運動認識の分野にNASアルゴリズムを導入する。 Relax DARTSは、より効率的なネットワーク検索とトレーニングを実現するために、DARTSの改良である。 Relax DARTSは、他の多機能時間分類タスクへの適応性を示す。
  論文  参考訳（メタデータ） (2024-09-18T02:37:04Z)
• Multi-task Learning with 3D-Aware Regularization [55.97507478913053]
  本稿では,画像エンコーダから抽出した特徴を共有3D特徴空間に投影することで,複数のタスクをインタフェースする構造化3D認識正規化器を提案する。 提案手法はアーキテクチャ非依存であり,従来のマルチタスクバックボーンにプラグインすることで,性能を向上できることを示す。
  論文  参考訳（メタデータ） (2023-10-02T08:49:56Z)
• Task-Attentive Transformer Architecture for Continual Learning of Vision-and-Language Tasks Using Knowledge Distillation [18.345183818638475]
  連続学習(CL)は、逐次到着するタスク間で知識伝達を可能にすることで、治療の役割を果たす。 バイモーダル・ビジョン・アンド・ランゲージ・タスクを学習するためのトランスフォーマーベースのCLアーキテクチャを開発した。 私たちのアプローチは、メモリと時間のオーバーヘッドが少ないため、多数のタスクにスケーラブルに学習するものです。
  論文  参考訳（メタデータ） (2023-03-25T10:16:53Z)
• Dense Network Expansion for Class Incremental Learning [61.00081795200547]
  最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。 精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。 従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
  論文  参考訳（メタデータ） (2023-03-22T16:42:26Z)
• Improving Long-tailed Object Detection with Image-Level Supervision by Multi-Task Collaborative Learning [18.496765732728164]
  マルチタスク協調方式において,画像レベルの監視を活用して検出能力を向上する新しいフレームワークCLISを提案する。 CLISは、テールカテゴリーを10.1ポイント改善した31.1のAPを達成し、新しい最先端技術を確立した。
  論文  参考訳（メタデータ） (2022-10-11T16:02:14Z)
• E2-AEN: End-to-End Incremental Learning with Adaptively Expandable Network [57.87240860624937]
  本稿では,E2-AENという,エンドツーエンドのトレーニング可能な適応拡張可能なネットワークを提案する。 以前のタスクの精度を落とさずに、新しいタスクのための軽量な構造を動的に生成する。 E2-AENはコストを削減し、あらゆるフィードフォワードアーキテクチャをエンドツーエンドで構築できる。
  論文  参考訳（メタデータ） (2022-07-14T09:04:51Z)
• Rethinking Task-Incremental Learning Baselines [5.771817160915079]
  本稿では,タスク・インクリメンタル・ラーニングのための簡易かつ効果的な調整ネットワーク(SAN)を提案する。 本研究では,3Dポイントクラウドオブジェクト (ModelNet40) と2Dイメージ (CIFAR10, CIFAR100, MiniImageNet, MNIST, PermutedMNIST, notMNIST, SVHN, FashionMNIST) の認識タスクについて検討する。
  論文  参考訳（メタデータ） (2022-05-23T14:52:38Z)
• Counting with Adaptive Auxiliary Learning [23.715818463425503]
  本稿では,オブジェクトカウント問題に対する適応型補助的タスク学習に基づくアプローチを提案する。 本研究では,タスク共有とタスクカスタマイズの両機能学習を実現するために,アダプティブ・アダプティブ・アダプティブ・共有バックボーンネットワークを開発した。 本手法は,現在最先端のタスク学習に基づくカウント手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-03-08T13:10:17Z)
• AF$_2$: Adaptive Focus Framework for Aerial Imagery Segmentation [86.44683367028914]
  航空画像のセグメンテーションにはいくつかの独特な課題があり、中でも最も重要なものは前景と背景のアンバランスにある。 本稿では,階層的なセグメンテーション手法を採用し,マルチスケール表現を適応的に活用するAdaptive Focus Framework (AF$)を提案する。 AF$は、広く使われている3つの航空ベンチマークの精度を大幅に改善した。
  論文  参考訳（メタデータ） (2022-02-18T10:14:45Z)
• Center Loss Regularization for Continual Learning [0.0]
  一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。 提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。 提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
  論文  参考訳（メタデータ） (2021-10-21T17:46:44Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• Distribution Alignment: A Unified Framework for Long-tail Visual Recognition [52.36728157779307]
  長尾視覚認識のための分散アライメント戦略を提案する。 次に,二段階学習における一般化された再重み付け法を導入して,事前のクラスバランスをとる。 提案手法は, 4つの認識タスクすべてにおいて, 単純で統一されたフレームワークを用いて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-03-30T14:09:53Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• MetaPerturb: Transferable Regularizer for Heterogeneous Tasks and Architectures [61.73533544385352]
  本稿ではメタパーターブ(MetaPerturb)というトランスファー可能な摂動モデルを提案する。 MetaPerturbは、レイヤやタスクにまたがる多様な分散を訓練したセット関数であるため、異種タスクやアーキテクチャを一般化することができる。
  論文  参考訳（メタデータ） (2020-06-13T02:54:59Z)
• Group Based Deep Shared Feature Learning for Fine-grained Image Classification [31.84610555517329]
  共有された特徴を明示的にモデル化し、その効果を除去し、拡張された分類結果を得るための新しいディープネットワークアーキテクチャを提案する。 我々はこのフレームワークをグループベースのDeep Shared Feature Learning (GSFL)と呼び、学習したネットワークをGSFL-Netと呼ぶ。 特殊オートエンコーダの重要な利点は、多用途であり、最先端のきめ細かい特徴抽出モデルと組み合わせて、それらと一緒にトレーニングすることで、パフォーマンスを直接改善できる点である。
  論文  参考訳（メタデータ） (2020-04-04T00:01:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。