論文の概要: AdaXpert: Adapting Neural Architecture for Growing Data
- arxiv url: http://arxiv.org/abs/2107.00254v1
- Date: Thu, 1 Jul 2021 07:22:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-02 13:56:57.927707
- Title: AdaXpert: Adapting Neural Architecture for Growing Data
- Title(参考訳): adaxpert: 成長データにニューラルネットワークを適用する
- Authors: Shuaicheng Niu, Jiaxiang Wu, Guanghui Xu, Yifan Zhang, Yong Guo,
Peilin Zhao, Peng Wang, Mingkui Tan
- Abstract要約: 実世界のアプリケーションでは、データボリュームとクラス数が動的に増加する可能性があるため、データが増大することが多い。
データボリュームの増加やクラスの数を考えると、期待できるパフォーマンスを得るためには、ニューラルネットワークのキャパシティを瞬時に調整する必要がある。
既存のメソッドは、データの増大する性質を無視したり、特定のデータセットの最適なアーキテクチャを独立して検索しようとする。
- 参考スコア(独自算出の注目度): 63.30393509048505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In real-world applications, data often come in a growing manner, where the
data volume and the number of classes may increase dynamically. This will bring
a critical challenge for learning: given the increasing data volume or the
number of classes, one has to instantaneously adjust the neural model capacity
to obtain promising performance. Existing methods either ignore the growing
nature of data or seek to independently search an optimal architecture for a
given dataset, and thus are incapable of promptly adjusting the architectures
for the changed data. To address this, we present a neural architecture
adaptation method, namely Adaptation eXpert (AdaXpert), to efficiently adjust
previous architectures on the growing data. Specifically, we introduce an
architecture adjuster to generate a suitable architecture for each data
snapshot, based on the previous architecture and the different extent between
current and previous data distributions. Furthermore, we propose an adaptation
condition to determine the necessity of adjustment, thereby avoiding
unnecessary and time-consuming adjustments. Extensive experiments on two growth
scenarios (increasing data volume and number of classes) demonstrate the
effectiveness of the proposed method.
- Abstract(参考訳): 実世界のアプリケーションでは、データボリュームとクラス数が動的に増加する可能性があるため、データが増大することが多い。
データボリュームの増加やクラスの数を考えると、期待できるパフォーマンスを得るためには、ニューラルネットワークのキャパシティを瞬時に調整する必要がある。
既存の手法は、データの増大する性質を無視したり、与えられたデータセットの最適なアーキテクチャを独立して検索しようとするため、変更したデータのアーキテクチャを迅速に調整することができない。
そこで本稿では,AdaXpert(Adaptation eXpert)というニューラルアーキテクチャ適応手法を提案する。
具体的には、以前のアーキテクチャと現在のデータ分布と過去のデータ分布の違いに基づいて、各データスナップショットに適したアーキテクチャを生成するアーキテクチャ調整器を導入する。
さらに,調整の必要性を判定する適応条件を提案し,不要かつ時間を要する調整を回避する。
2つの成長シナリオ(データ量とクラス数の増加)に関する広範囲な実験により,提案手法の有効性が示された。
関連論文リスト
- MSTAR: Multi-Scale Backbone Architecture Search for Timeseries
Classification [0.41185655356953593]
ニューラルアーキテクチャサーチ(NAS)のための新しいマルチスケール検索空間とフレームワークを提案する。
我々のモデルは、トレーニングされていない重量とトレーニング済み重量の両方を持つ強力なTransformerモジュールを使用するためのバックボーンとして機能することを示します。
検索空間は4つの異なる領域の4つのデータセットで最先端のパフォーマンスに達する。
論文 参考訳(メタデータ) (2024-02-21T13:59:55Z) - Augmented Bilinear Network for Incremental Multi-Stock Time-Series
Classification [83.23129279407271]
本稿では,有価証券のセットで事前学習したニューラルネットワークで利用可能な知識を効率的に保持する手法を提案する。
本手法では,既存の接続を固定することにより,事前学習したニューラルネットワークに符号化された事前知識を維持する。
この知識は、新しいデータを用いて最適化された一連の拡張接続によって、新しい証券に対して調整される。
論文 参考訳(メタデータ) (2022-07-23T18:54:10Z) - Temporal Convolution Domain Adaptation Learning for Crops Growth
Prediction [5.966652553573454]
我々は、限られた作物データを用いて、作物の成長曲線を予測するために、ドメイン適応学習に基づく革新的なネットワークアーキテクチャを構築した。
私たちは、時間的畳み込みフィルタをバックボーンとして使用し、ドメイン適応ネットワークアーキテクチャを構築しました。
その結果,提案した時間的畳み込みに基づくネットワークアーキテクチャは,精度だけでなく,モデルサイズや収束率においても,すべてのベンチマークより優れていた。
論文 参考訳(メタデータ) (2022-02-24T14:22:36Z) - Deep invariant networks with differentiable augmentation layers [87.22033101185201]
データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。
我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
論文 参考訳(メタデータ) (2022-02-04T14:12:31Z) - Data Scaling Laws in NMT: The Effect of Noise and Architecture [59.767899982937756]
ニューラルネットワーク翻訳(NMT)のデータスケーリング特性に及ぼすアーキテクチャとトレーニングデータ品質の影響について検討する。
データスケーリング指数は最小限の影響を受けており、より多くのデータを追加することで、極端に悪いアーキテクチャやトレーニングデータの補償が可能になることを示唆しています。
論文 参考訳(メタデータ) (2022-02-04T06:53:49Z) - Transformer-Based Behavioral Representation Learning Enables Transfer
Learning for Mobile Sensing in Small Datasets [4.276883061502341]
時系列から一般化可能な特徴表現を学習できるモバイルセンシングデータのためのニューラルネットワークフレームワークを提供する。
このアーキテクチャは、CNNとTrans-formerアーキテクチャの利点を組み合わせて、より良い予測性能を実現する。
論文 参考訳(メタデータ) (2021-07-09T22:26:50Z) - Differentiable Architecture Pruning for Transfer Learning [6.935731409563879]
本研究では,与えられた大規模モデルからサブアーキテクチャを抽出するための勾配に基づくアプローチを提案する。
我々のアーキテクチャ・プルーニング・スキームは、異なるタスクを解くために再訓練を成功させることができるトランスファー可能な新しい構造を生成する。
理論的収束保証を提供し、実データ上で提案した伝達学習戦略を検証する。
論文 参考訳(メタデータ) (2021-07-07T17:44:59Z) - AutoAdapt: Automated Segmentation Network Search for Unsupervised Domain
Adaptation [4.793219747021116]
我々は、ドメイン適応のためのアーキテクチャレベルの視点と分析を提供するために、ニューラルアーキテクチャサーチ(NAS)を実行する。
本稿では,最大平均誤差と地域重み付きエントロピーを用いて,このギャップを埋めて精度を推定する手法を提案する。
論文 参考訳(メタデータ) (2021-06-24T17:59:02Z) - Rethinking Architecture Design for Tackling Data Heterogeneity in
Federated Learning [53.73083199055093]
注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。
我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
論文 参考訳(メタデータ) (2021-06-10T21:04:18Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳(メタデータ) (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。