論文の概要: Resource-Constrained Neural Architecture Search on Tabular Datasets

• arxiv url: http://arxiv.org/abs/2204.07615v1
• Date: Fri, 15 Apr 2022 19:03:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-21 06:37:13.367118
• Title: Resource-Constrained Neural Architecture Search on Tabular Datasets
• Title（参考訳）: 語彙データセットを用いた資源制約型ニューラルアーキテクチャ探索
• Authors: Chengrun Yang, Gabriel Bender, Hanxiao Liu, Pieter-Jan Kindermans, Madeleine Udell, Yifeng Lu, Quoc Le, Da Huang
• Abstract要約: 与えられた機械学習問題に対する最良のニューラルネットワークは、データセットの複雑さと構造を含む多くの要因に依存する。 従来のNASアルゴリズムでは、リソース制約を直接強化学習報酬に組み込んでいる。 これらの課題に対処する新しい強化学習コントローラを提案する。
• 参考スコア（独自算出の注目度）: 38.765317261872504
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The best neural architecture for a given machine learning problem depends on many factors: not only the complexity and structure of the dataset, but also on resource constraints including latency, compute, energy consumption, etc. Neural architecture search (NAS) for tabular datasets is an important but under-explored problem. Previous NAS algorithms designed for image search spaces incorporate resource constraints directly into the reinforcement learning rewards. In this paper, we argue that search spaces for tabular NAS pose considerable challenges for these existing reward-shaping methods, and propose a new reinforcement learning (RL) controller to address these challenges. Motivated by rejection sampling, when we sample candidate architectures during a search, we immediately discard any architecture that violates our resource constraints. We use a Monte-Carlo-based correction to our RL policy gradient update to account for this extra filtering step. Results on several tabular datasets show TabNAS, the proposed approach, efficiently finds high-quality models that satisfy the given resource constraints.
• Abstract（参考訳）: 特定の機械学習問題に対する最良のニューラルネットワークは、データセットの複雑さと構造だけでなく、レイテンシ、計算、エネルギー消費などのリソース制約にも依存する。 グラフデータセットに対するニューラルアーキテクチャサーチ(NAS)は重要だが未探索の課題である。 画像検索空間用に設計された従来のNASアルゴリズムは、強化学習報酬に直接リソース制約を組み込む。 本稿では,これらの既存の報酬形成手法において,表型NASの探索空間が大きな課題となることを論じ,これらの課題に対処する新たな強化学習(RL)コントローラを提案する。 拒否サンプリングに動機付けられ、検索中に候補アーキテクチャをサンプリングすると、リソース制約に違反するアーキテクチャを即座に破棄します。 この余分なフィルタリングステップを考慮するために、rlポリシーグラデーションのアップデートにモンテカルロベースの補正を使用します。 いくつかの表型データセットの結果,提案手法であるtabnaは,与えられたリソース制約を満たす高品質なモデルを効率的に発見する。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• Masked Autoencoders Are Robust Neural Architecture Search Learners [14.965550562292476]
  本研究では,Masked Autoencoders (MAE) に基づく新しいNASフレームワークを提案する。 教師あり学習対象を画像再構成タスクに置き換えることで,ネットワークアーキテクチャの堅牢な発見を可能にする。
  論文  参考訳（メタデータ） (2023-11-20T13:45:21Z)
• Towards Less Constrained Macro-Neural Architecture Search [2.685668802278155]
  ニューラルアーキテクチャサーチ(NAS)ネットワークは、様々なタスクで最先端のパフォーマンスを達成する。 ほとんどのNAS手法は、探索を制約する人間定義の仮定に大きく依存している。 我々は,LCMNASが最小のGPU計算でゼロから最先端アーキテクチャを生成することを示す実験を行った。
  論文  参考訳（メタデータ） (2022-03-10T17:53:03Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Differentiable NAS Framework and Application to Ads CTR Prediction [30.74403362212425]
  我々は、微分可能なニューラルネットワーク探索(DNAS)のための推論およびモジュラーフレームワークを実装している。 DNASを広告クリックスルー率(CTR)予測の問題に適用する。 我々は、CTR予測のための深層学習勧告モデル(DLRM)のバックボーンに新しい検索空間を開発し、調整し、Criteo Kaggle CTR予測データセットの最先端結果を報告する。
  論文  参考訳（メタデータ） (2021-10-25T05:46:27Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• RC-DARTS: Resource Constrained Differentiable Architecture Search [162.7199952019152]
  資源制約付き微分可能なアーキテクチャ探索法(RC-DARTS)を提案する。 RC-DARTS法は,モデルサイズが小さく,計算量も少ない,軽量なニューラルアーキテクチャを学習する。
  論文  参考訳（メタデータ） (2019-12-30T05:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。