論文の概要: Heterogeneous Continual Learning
- arxiv url: http://arxiv.org/abs/2306.08593v1
- Date: Wed, 14 Jun 2023 15:54:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 18:18:33.872549
- Title: Heterogeneous Continual Learning
- Title（参考訳）: 不均一連続学習
- Authors: Divyam Madaan, Hongxu Yin, Wonmin Byeon, Jan Kautz, Pavlo Molchanov
- Abstract要約: 本稿では,ネットワークアーキテクチャの変更に伴う継続学習(CL)問題に対処する新しい枠組みを提案する。
本研究は, 蒸留ファミリ上に構築し, より弱いモデルが教師の役割を担うような, 新たな環境に適応するものである。
また、知識伝達を支援するために、タスク前の視覚的特徴を復元するクイック・ディープ・インバージョン(QDI)を提案する。
- 参考スコア（独自算出の注目度）: 88.53038822561197
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We propose a novel framework and a solution to tackle the continual learning
(CL) problem with changing network architectures. Most CL methods focus on
adapting a single architecture to a new task/class by modifying its weights.
However, with rapid progress in architecture design, the problem of adapting
existing solutions to novel architectures becomes relevant. To address this
limitation, we propose Heterogeneous Continual Learning (HCL), where a wide
range of evolving network architectures emerge continually together with novel
data/tasks. As a solution, we build on top of the distillation family of
techniques and modify it to a new setting where a weaker model takes the role
of a teacher; meanwhile, a new stronger architecture acts as a student.
Furthermore, we consider a setup of limited access to previous data and propose
Quick Deep Inversion (QDI) to recover prior task visual features to support
knowledge transfer. QDI significantly reduces computational costs compared to
previous solutions and improves overall performance. In summary, we propose a
new setup for CL with a modified knowledge distillation paradigm and design a
quick data inversion method to enhance distillation. Our evaluation of various
benchmarks shows a significant improvement on accuracy in comparison to
state-of-the-art methods over various networks architectures.
- Abstract（参考訳）: 本稿では,ネットワークアーキテクチャの変更に伴う継続学習(CL)問題に対処するための新しいフレームワークとソリューションを提案する。
ほとんどのCLメソッドは、重みを変更して新しいタスク/クラスに単一のアーキテクチャを適用することに重点を置いている。
しかし、アーキテクチャ設計の急速な進歩に伴い、既存のソリューションを新しいアーキテクチャに適応させるという課題が重要となる。
この制限に対処するため、我々は、新しいデータ/タスクとともに広範囲に進化するネットワークアーキテクチャが継続的に現れる異種連続学習(HCL)を提案する。
解決策として, 蒸留技術群の上に構築し, より弱いモデルが教師の役割を担うような新しい環境に修正する一方で, より強力なアーキテクチャが学生として機能する。
さらに,従来のデータへのアクセス制限を考慮し,知識伝達を支援するために,タスク前の視覚的特徴を復元するクイック・ディープ・インバージョン(QDI)を提案する。
QDIは従来のソリューションに比べて計算コストを大幅に削減し、全体的なパフォーマンスを向上させる。
本稿では, 知識蒸留パラダイムを改良したCLの新しいセットアップを提案し, 蒸留を強化するための高速データ反転法を設計する。
各種ネットワークアーキテクチャ上での最先端手法と比較して,評価精度が大幅に向上した。
関連論文リスト
- LT-DARTS: An Architectural Approach to Enhance Deep Long-Tailed Learning [5.214135587370722]
我々はLong-Tailed Differential Architecture Search (LT-DARTS)を紹介する。
長いデータに対して優れたパフォーマンスを示すアーキテクチャコンポーネントを探索するために、広範な実験を行います。
これにより、検索プロセスを通じて得られたアーキテクチャが優れたコンポーネントを組み込むことが保証される。
論文 参考訳（メタデータ） (2024-11-09T07:19:56Z) - One-for-All: Bridge the Gap Between Heterogeneous Architectures in
Knowledge Distillation [69.65734716679925]
知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。
既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。
我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
論文 参考訳（メタデータ） (2023-10-30T11:13:02Z) - Multiplicative update rules for accelerating deep learning training and
increasing robustness [69.90473612073767]
我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。
提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
論文 参考訳（メタデータ） (2023-07-14T06:44:43Z) - Conceptual Expansion Neural Architecture Search (CENAS) [1.3464152928754485]
概念拡張ニューラルアーキテクチャサーチ(CENAS)という手法を提案する。
サンプル効率が高く、計算的創造性にインスパイアされたトランスファーラーニングアプローチとニューラルアーキテクチャサーチを組み合わせたものだ。
新しいモデルのパラメータを近似するために、既存の重みを転送することで、素早いアーキテクチャ探索よりも高速なモデルを見つける。
論文 参考訳（メタデータ） (2021-10-07T02:29:26Z) - SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and
Residual Connections for Structure Preserving Object Classification [28.02302915971059]
本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。
提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。
提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
論文 参考訳（メタデータ） (2021-10-06T13:54:49Z) - Differentiable Architecture Pruning for Transfer Learning [6.935731409563879]
本研究では,与えられた大規模モデルからサブアーキテクチャを抽出するための勾配に基づくアプローチを提案する。
我々のアーキテクチャ・プルーニング・スキームは、異なるタスクを解くために再訓練を成功させることができるトランスファー可能な新しい構造を生成する。
理論的収束保証を提供し、実データ上で提案した伝達学習戦略を検証する。
論文 参考訳（メタデータ） (2021-07-07T17:44:59Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳（メタデータ） (2020-04-23T14:16:39Z) - Disturbance-immune Weight Sharing for Neural Architecture Search [96.93812980299428]
本稿では,モデル更新のための乱れ免疫更新戦略を提案する。
我々は,パフォーマンス障害リスクを軽減するための戦略の有効性を理論的に分析する。
論文 参考訳（メタデータ） (2020-03-29T17:54:49Z) - RC-DARTS: Resource Constrained Differentiable Architecture Search [162.7199952019152]
資源制約付き微分可能なアーキテクチャ探索法(RC-DARTS)を提案する。
RC-DARTS法は,モデルサイズが小さく,計算量も少ない,軽量なニューラルアーキテクチャを学習する。
論文 参考訳（メタデータ） (2019-12-30T05:02:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。