論文の概要: SEAL: Searching Expandable Architectures for Incremental Learning

• arxiv url: http://arxiv.org/abs/2505.10457v1
• Date: Thu, 15 May 2025 16:14:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.408335
• Title: SEAL: Searching Expandable Architectures for Incremental Learning
• Title（参考訳）: SEAL: インクリメンタルラーニングのための拡張可能なアーキテクチャの検索
• Authors: Matteo Gambella, Vicente Javier Castro Solar, Manuel Roveri,
• Abstract要約: インクリメンタルラーニング(Incremental Learning)は、モデルがタスクのシーケンシャルストリームから学習する機械学習パラダイムである。 インクリメンタルラーニングに対するNASベースのアプローチは、しばしばすべてのタスクでモデルを拡張することに依存し、リソース制約のある環境では実用的ではない。 データインクリメンタル学習に適したNASベースのフレームワークであるSEALを紹介する。 SEALはキャパシティ推定基準に基づいて、必要なときにのみモデルを拡張することで、モデル構造を動的に適応する。
• 参考スコア（独自算出の注目度）: 2.5739385355356714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Incremental learning is a machine learning paradigm where a model learns from a sequential stream of tasks. This setting poses a key challenge: balancing plasticity (learning new tasks) and stability (preserving past knowledge). Neural Architecture Search (NAS), a branch of AutoML, automates the design of the architecture of Deep Neural Networks and has shown success in static settings. However, existing NAS-based approaches to incremental learning often rely on expanding the model at every task, making them impractical in resource-constrained environments. In this work, we introduce SEAL, a NAS-based framework tailored for data-incremental learning, a scenario where disjoint data samples arrive sequentially and are not stored for future access. SEAL adapts the model structure dynamically by expanding it only when necessary, based on a capacity estimation metric. Stability is preserved through cross-distillation training after each expansion step. The NAS component jointly searches for both the architecture and the optimal expansion policy. Experiments across multiple benchmarks demonstrate that SEAL effectively reduces forgetting and enhances accuracy while maintaining a lower model size compared to prior methods. These results highlight the promise of combining NAS and selective expansion for efficient, adaptive learning in incremental scenarios.
• Abstract（参考訳）: インクリメンタルラーニング(Incremental Learning)は、モデルがタスクのシーケンシャルストリームから学習する機械学習パラダイムである。 この設定は、可塑性(新しいタスクを学ぶ)と安定性(過去の知識を保存する)のバランスをとるという重要な課題を提起します。 AutoMLのブランチであるNeural Architecture Search(NAS)は、Deep Neural Networksのアーキテクチャ設計を自動化するとともに、静的設定の成功を示している。 しかし、既存のNASベースのインクリメンタルラーニングアプローチは、しばしば全てのタスクでモデルを拡張することに依存しており、リソース制約のある環境では実用的ではない。 本研究では,データ増分学習に適したNASベースのフレームワークであるSEALを紹介する。 SEALはキャパシティ推定基準に基づいて、必要なときにのみモデルを拡張することで、モデル構造を動的に適応する。 各膨張工程の後、断熱訓練により安定性が保たれる。 NASコンポーネントは、アーキテクチャと最適な拡張ポリシーの両方を共同で検索する。 複数のベンチマークで実験したところ、SEALは忘れを効果的に減らし、精度を高めつつ、従来の方法よりも低いモデルサイズを維持していることがわかった。 これらの結果は、段階的なシナリオにおいて、効率よく適応的な学習のためにNASと選択的拡張を組み合わせるという約束を強調している。

関連論文リスト

• Federated Neural Architecture Search with Model-Agnostic Meta Learning [7.542593703407386]
  Federated Neural Architecture Search (NAS)は、異種データに適した最適なモデルアーキテクチャの協調検索を可能にする。 メタラーニングをNASと統合するフレームワークであるFedMetaNASをフェデレートラーニングコンテキスト内に導入する。 その結果,FedMetaNASはFedNASに比べて50%以上の精度で検索処理を高速化することがわかった。
  論文  参考訳（メタデータ） (2025-04-08T21:57:40Z)
• Dynamic Allocation Hypernetwork with Adaptive Model Recalibration for Federated Continual Learning [49.508844889242425]
  適応型モデル再構成(FedDAH)を用いた動的アロケーション・ハイパーネットワーク(動的アロケーション・ハイパーネットワーク)の医用領域におけるサーバサイドFCLパターンを提案する。 FedDAHは、クライアント間で異なる動的タスクストリームの下での協調学習を容易にするように設計されている。 バイアス最適化のために,従来のモデルの変更候補を現在のサーバ更新に組み込むために,新しい適応モデル再校正(AMR)を導入する。
  論文  参考訳（メタデータ） (2025-03-25T00:17:47Z)
• Dynamic Allocation Hypernetwork with Adaptive Model Recalibration for FCL [49.508844889242425]
  適応型モデル再校正(textbfFedDAH)を用いた動的アロケーション・ハイパーネットワークの医療領域におけるサーバサイドFCLパターンを提案する。 バイアス最適化のために,従来のモデルの変更候補を現在のサーバ更新に組み込むために,新しい適応モデル再校正(AMR)を導入する。 AMOSデータセットの実験では、異なるタスクストリームを持つサイトの他のFCLメソッドよりもFedDAHの方が優れていることが示されています。
  論文  参考訳（メタデータ） (2025-03-23T13:12:56Z)
• Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning [0.0]
  本稿では,NASの長期化データセットにおける探索・訓練性能の向上について検討する。 まず、NASに関する関連する研究と、長い尾を持つデータセットに対するディープラーニング手法について論じる。 次に、自己教師付き学習と公正な差別化可能なNASを統合したSSF-NASと呼ばれる既存の研究に焦点を当てる。 最後に,性能評価のためのCIFAR10-LTデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-19T12:39:02Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• Towards Self-supervised and Weight-preserving Neural Architecture Search [38.497608743382145]
  本研究では,現在のNASフレームワークの拡張として,自己教師付き重み保存型ニューラルネットワーク探索(SSWP-NAS)を提案する。 CIFAR-10, CIFAR-100, ImageNetデータセットにおいて, 提案したフレームワークによって探索されたアーキテクチャが, 最先端の精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-06-08T18:48:05Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)
• SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
  本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。 SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。 実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
  論文  参考訳（メタデータ） (2020-07-15T11:21:31Z)
• Learning Architectures from an Extended Search Space for Language Modeling [37.79977691127229]
  ニューラルアーキテクチャサーチ(NAS)のセル内アーキテクチャとセル間アーキテクチャの両方を学ぶための一般的なアプローチを提案する。 繰り返しのニューラルネットワークモデリングでは、TBとWikiTextのデータに対して強力なベースラインをはるかに上回り、TBに新たな最先端技術が導入された。 学習したアーキテクチャは、他のシステムに優れた転送可能性を示す。
  論文  参考訳（メタデータ） (2020-05-06T05:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。