論文の概要: SeqNAS: Neural Architecture Search for Event Sequence Classification
- arxiv url: http://arxiv.org/abs/2401.03246v1
- Date: Sat, 6 Jan 2024 16:00:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 19:36:12.224603
- Title: SeqNAS: Neural Architecture Search for Event Sequence Classification
- Title（参考訳）: seqnas: イベントシーケンス分類のためのニューラルアーキテクチャ探索
- Authors: Igor Udovichenko, Egor Shvetsov, Denis Divitsky, Dmitry Osin, Ilya
Trofimov, Anatoly Glushenko, Ivan Sukharev, Dmitry Berestenev, Evgeny Burnaev
- Abstract要約: イベントシーケンスは、チャーン予測顧客セグメンテーション不正検出や障害診断など、さまざまな産業用途で広く利用されている。
以前のアプローチは、他のドメインの画像テキストや時系列にのみ適用されている。
本研究は,イベントシーケンス分類に特化して設計された新しいNASアルゴリズムSeqNASを導入することで,この制限に対処する。
- 参考スコア（独自算出の注目度）: 16.444273716671756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Architecture Search (NAS) methods are widely used in various
industries to obtain high quality taskspecific solutions with minimal human
intervention. Event Sequences find widespread use in various industrial
applications including churn prediction customer segmentation fraud detection
and fault diagnosis among others. Such data consist of categorical and
real-valued components with irregular timestamps. Despite the usefulness of NAS
methods previous approaches only have been applied to other domains images
texts or time series. Our work addresses this limitation by introducing a novel
NAS algorithm SeqNAS specifically designed for event sequence classification.
We develop a simple yet expressive search space that leverages commonly used
building blocks for event sequence classification including multihead self
attention convolutions and recurrent cells. To perform the search we adopt
sequential Bayesian Optimization and utilize previously trained models as an
ensemble of teachers to augment knowledge distillation. As a result of our work
we demonstrate that our method surpasses state of the art NAS methods and
popular architectures suitable for sequence classification and holds great
potential for various industrial applications.
- Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)法は、人間の介入を最小限に抑えた高品質なタスク固有解を得るために、様々な産業で広く用いられている。
イベントシーケンスは、churn予測顧客セグメンテーション不正検出や障害診断など、さまざまな産業アプリケーションで広く使用されている。
このようなデータは、不規則なタイムスタンプを持つ分類的および実数値的なコンポーネントから構成される。
NAS手法の有用性にもかかわらず、従来のアプローチは他のドメインの画像テキストや時系列にのみ適用されてきた。
本研究は、イベントシーケンス分類用に設計された新しいNASアルゴリズムSeqNASを導入することで、この制限に対処する。
マルチヘッド自己注意畳み込みやリカレントセルなど,イベントシーケンス分類に一般的に使用されるビルディングブロックを活用する,単純かつ表現力に富んだ検索空間を開発した。
探索を行うために,逐次ベイズ最適化を採用し,事前訓練されたモデルを教師のアンサンブルとして活用し,知識蒸留を増強する。
その結果,本手法がNAS法や一般的なアーキテクチャを超越してシーケンス分類が可能であり,様々な産業応用に大きな可能性を秘めていることがわかった。
関連論文リスト
- A Survey on Multi-Objective Neural Architecture Search [9.176056742068813]
マルチオブジェクトニューラルアーキテクチャサーチ(MONAS)が注目されている。
本論では, モナスの分野における主要・最先端の著作の概要について述べる。
論文 参考訳（メタデータ） (2023-07-18T09:42:51Z) - Searching a High-Performance Feature Extractor for Text Recognition
Network [92.12492627169108]
優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。
空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。
本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-27T03:49:04Z) - Surrogate-assisted Multi-objective Neural Architecture Search for
Real-time Semantic Segmentation [11.866947846619064]
ニューラルアーキテクチャサーチ(NAS)は、アーキテクチャ設計を自動化するための有望な道として登場した。
セマンティックセグメンテーションにNASを適用する際の課題を解決するために,サロゲート支援多目的手法を提案する。
提案手法は,人手による設計と他のNAS手法による自動設計の両方により,既存の最先端アーキテクチャを著しく上回るアーキテクチャを同定することができる。
論文 参考訳（メタデータ） (2022-08-14T10:18:51Z) - $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture
Search [85.84110365657455]
本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。
NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
論文 参考訳（メタデータ） (2022-03-03T11:47:14Z) - Differentiable NAS Framework and Application to Ads CTR Prediction [30.74403362212425]
我々は、微分可能なニューラルネットワーク探索(DNAS)のための推論およびモジュラーフレームワークを実装している。
DNASを広告クリックスルー率(CTR)予測の問題に適用する。
我々は、CTR予測のための深層学習勧告モデル(DLRM)のバックボーンに新しい検索空間を開発し、調整し、Criteo Kaggle CTR予測データセットの最先端結果を報告する。
論文 参考訳（メタデータ） (2021-10-25T05:46:27Z) - NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。
我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
論文 参考訳（メタデータ） (2021-10-12T01:13:18Z) - Rethinking Neural Operations for Diverse Tasks [22.998431126801254]
標準マルチチャネル畳み込みの帰納的バイアスを模倣するxd演算と呼ばれるニューラルネットワークの探索空間を導入する。
LeNetやResNetなどのバックボーンネットワークをXD-Operations上のアーキテクチャ検索空間に変換する方法を紹介します。
我々のアプローチは、ベースラインネットワークよりもエラーが少なく、時には専門家が設計したドメイン固有のアプローチよりもエラーが少ないモデルを生成する。
論文 参考訳（メタデータ） (2021-03-29T17:50:39Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - GOLD-NAS: Gradual, One-Level, Differentiable [100.12492801459105]
GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。
1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
論文 参考訳（メタデータ） (2020-07-07T10:37:49Z) - MTL-NAS: Task-Agnostic Neural Architecture Search towards
General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。
異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。
また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-31T09:49:14Z) - NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture
Search [55.12928953187342]
我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。
NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。
我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
論文 参考訳（メタデータ） (2020-01-02T05:28:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。