論文の概要: AdaXpert: Adapting Neural Architecture for Growing Data

• arxiv url: http://arxiv.org/abs/2107.00254v1
• Date: Thu, 1 Jul 2021 07:22:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-02 13:56:57.927707
• Title: AdaXpert: Adapting Neural Architecture for Growing Data
• Title（参考訳）: adaxpert: 成長データにニューラルネットワークを適用する
• Authors: Shuaicheng Niu, Jiaxiang Wu, Guanghui Xu, Yifan Zhang, Yong Guo, Peilin Zhao, Peng Wang, Mingkui Tan
• Abstract要約: 実世界のアプリケーションでは、データボリュームとクラス数が動的に増加する可能性があるため、データが増大することが多い。 データボリュームの増加やクラスの数を考えると、期待できるパフォーマンスを得るためには、ニューラルネットワークのキャパシティを瞬時に調整する必要がある。 既存のメソッドは、データの増大する性質を無視したり、特定のデータセットの最適なアーキテクチャを独立して検索しようとする。
• 参考スコア（独自算出の注目度）: 63.30393509048505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real-world applications, data often come in a growing manner, where the data volume and the number of classes may increase dynamically. This will bring a critical challenge for learning: given the increasing data volume or the number of classes, one has to instantaneously adjust the neural model capacity to obtain promising performance. Existing methods either ignore the growing nature of data or seek to independently search an optimal architecture for a given dataset, and thus are incapable of promptly adjusting the architectures for the changed data. To address this, we present a neural architecture adaptation method, namely Adaptation eXpert (AdaXpert), to efficiently adjust previous architectures on the growing data. Specifically, we introduce an architecture adjuster to generate a suitable architecture for each data snapshot, based on the previous architecture and the different extent between current and previous data distributions. Furthermore, we propose an adaptation condition to determine the necessity of adjustment, thereby avoiding unnecessary and time-consuming adjustments. Extensive experiments on two growth scenarios (increasing data volume and number of classes) demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: 実世界のアプリケーションでは、データボリュームとクラス数が動的に増加する可能性があるため、データが増大することが多い。 データボリュームの増加やクラスの数を考えると、期待できるパフォーマンスを得るためには、ニューラルネットワークのキャパシティを瞬時に調整する必要がある。 既存の手法は、データの増大する性質を無視したり、与えられたデータセットの最適なアーキテクチャを独立して検索しようとするため、変更したデータのアーキテクチャを迅速に調整することができない。 そこで本稿では,AdaXpert(Adaptation eXpert)というニューラルアーキテクチャ適応手法を提案する。 具体的には、以前のアーキテクチャと現在のデータ分布と過去のデータ分布の違いに基づいて、各データスナップショットに適したアーキテクチャを生成するアーキテクチャ調整器を導入する。 さらに,調整の必要性を判定する適応条件を提案し,不要かつ時間を要する調整を回避する。 2つの成長シナリオ(データ量とクラス数の増加)に関する広範囲な実験により,提案手法の有効性が示された。

関連論文リスト

• Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws [59.03420759554073]
  本稿では,オンライン手法でデータ分散を最適化するアルゴリズムであるAdaptive Data Optimization (ADO)を導入する。 ADOは外部の知識やプロキシモデル、モデル更新の変更を必要としない。 ADOは、ドメインごとのスケーリング法則を使用して、トレーニング中の各ドメインの学習ポテンシャルを推定し、データ混合を調整する。
  論文  参考訳（メタデータ） (2024-10-15T17:47:44Z)
• Exploring the design space of deep-learning-based weather forecasting systems [56.129148006412855]
  本稿では,異なる設計選択がディープラーニングに基づく天気予報システムに与える影響を系統的に分析する。 UNet、完全畳み込みアーキテクチャ、トランスフォーマーベースモデルなどの固定グリッドアーキテクチャについて検討する。 固定グリッドモデルの強靭な性能とグリッド不変アーキテクチャの柔軟性を組み合わせたハイブリッドシステムを提案する。
  論文  参考訳（メタデータ） (2024-10-09T22:25:50Z)
• Implicitly Guided Design with PropEn: Match your Data to Follow the Gradient [52.2669490431145]
  PropEnは'matching'にインスパイアされている。 一致したデータセットによるトレーニングは、データ分布内に留まりながら、興味のある性質の勾配を近似することを示す。
  論文  参考訳（メタデータ） (2024-05-28T11:30:19Z)
• Orchid: Flexible and Data-Dependent Convolution for Sequence Modeling [4.190836962132713]
  本稿では,従来の注意機構の2次複雑さに対処する新しいアーキテクチャであるOrchidを紹介する。 このアーキテクチャのコアには、新しいデータ依存のグローバル畳み込み層があり、入力シーケンスに条件付きカーネルを文脈的に適応させる。 言語モデリングや画像分類など,複数の領域にまたがるモデルの評価を行い,その性能と汎用性を強調した。
  論文  参考訳（メタデータ） (2024-02-28T17:36:45Z)
• MSTAR: Multi-Scale Backbone Architecture Search for Timeseries Classification [0.41185655356953593]
  ニューラルアーキテクチャサーチ(NAS)のための新しいマルチスケール検索空間とフレームワークを提案する。 我々のモデルは、トレーニングされていない重量とトレーニング済み重量の両方を持つ強力なTransformerモジュールを使用するためのバックボーンとして機能することを示します。 検索空間は4つの異なる領域の4つのデータセットで最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2024-02-21T13:59:55Z)
• Temporal Convolution Domain Adaptation Learning for Crops Growth Prediction [5.966652553573454]
  我々は、限られた作物データを用いて、作物の成長曲線を予測するために、ドメイン適応学習に基づく革新的なネットワークアーキテクチャを構築した。 私たちは、時間的畳み込みフィルタをバックボーンとして使用し、ドメイン適応ネットワークアーキテクチャを構築しました。 その結果,提案した時間的畳み込みに基づくネットワークアーキテクチャは,精度だけでなく,モデルサイズや収束率においても,すべてのベンチマークより優れていた。
  論文  参考訳（メタデータ） (2022-02-24T14:22:36Z)
• Data Scaling Laws in NMT: The Effect of Noise and Architecture [59.767899982937756]
  ニューラルネットワーク翻訳(NMT)のデータスケーリング特性に及ぼすアーキテクチャとトレーニングデータ品質の影響について検討する。 データスケーリング指数は最小限の影響を受けており、より多くのデータを追加することで、極端に悪いアーキテクチャやトレーニングデータの補償が可能になることを示唆しています。
  論文  参考訳（メタデータ） (2022-02-04T06:53:49Z)
• AutoAdapt: Automated Segmentation Network Search for Unsupervised Domain Adaptation [4.793219747021116]
  我々は、ドメイン適応のためのアーキテクチャレベルの視点と分析を提供するために、ニューラルアーキテクチャサーチ(NAS)を実行する。 本稿では,最大平均誤差と地域重み付きエントロピーを用いて,このギャップを埋めて精度を推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-24T17:59:02Z)
• Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
  注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。 我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
  論文  参考訳（メタデータ） (2021-06-10T21:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。