論文の概要: LP-NAS: Linear Programming-based Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2608.14472v1
- Date: Fri, 14 Aug 2026 16:53:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.446917
- Title: LP-NAS: Linear Programming-based Neural Architecture Search
- Title（参考訳）: LP-NAS:線形プログラミングに基づくニューラルアーキテクチャ探索
- Abstract要約: 本研究では,線形プログラミングに基づくNAS(LP-NAS)を提案する。
S-LP-NAS と R-LP-NAS の 2 つの計算効率の良い変種を導入する。
どちらの変種も、標準のDARTSアルゴリズムよりも高速な収束と早期探索の検証性能を実現している。
- 参考スコア（独自算出の注目度）: 0.18425326702824343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Architecture Search (NAS) aims to automate neural network architecture design, reducing reliance on human expertise. Among the various NAS methods, differentiable NAS has gained prominence due to its efficiency and accuracy compared to conventional NAS approaches. Since differentiable NAS relaxes the architecture search space into a continuous domain, it is possible to apply principles from continuous optimization to NAS. In this paper, we propose Linear Programming-based NAS (LP-NAS), a mathematical programming-based framework for differentiable NAS that is applicable to a wide range of continuous search spaces. LP-NAS formulates a linear program (LP) using the validation-loss gradient and the training-loss Hessian to compute an architecture update direction that improves generalization while preserving the optimality of the model parameters. By following this LP-derived descent direction, LP-NAS efficiently navigates the architecture search space, leading to faster and more effective architecture optimization. We introduce two computationally efficient variants of LP-NAS, namely S-LP-NAS and R-LP-NAS. Applying LP-NAS to the Differentiable Architecture Search (DARTS) search space results in two algorithmic variants, S-LP-DARTS and R-LP-DARTS. Both variants achieve faster convergence and significantly higher validation performance during the early search iterations than the standard DARTS algorithm. Extensive experiments on CIFAR-10 and CIFAR-100 show that LP-DARTS outperforms standard DARTS in both the architecture search and evaluation phases. Additionally, we compare our approach with several DARTS variants (P-DARTS, PC-DARTS, and STO-DARTS) on the CIFAR-10 dataset and demonstrate its effectiveness. Furthermore, we validate the transferability of the discovered architectures through experiments on the ImageNet dataset.
- Abstract（参考訳）: Neural Architecture Search (NAS)は、ニューラルネットワークアーキテクチャ設計を自動化することを目的としており、人間の専門知識への依存を減らす。
様々なNAS手法の中で,従来のNAS手法と比較して,NASの効率と正確性から差別化可能なNASが注目されている。
微分可能なNASはアーキテクチャ検索空間を連続的な領域に緩和するので、連続最適化の原則をNASに適用することができる。
本稿では,線形プログラミングに基づくNAS(LP-NAS)を提案する。
LP-NASは、モデルパラメータの最適性を保ちながら一般化を改善するアーキテクチャ更新方向を計算するために、バリデーションロス勾配とトレーニングロスヘシアンを用いて線形プログラム(LP)を定式化する。
LP-NASは、このLPから派生した方向に従って、効率的にアーキテクチャ探索空間をナビゲートし、より高速で効率的なアーキテクチャ最適化を実現する。
S-LP-NAS と R-LP-NAS の 2 つの計算効率の良い変種を導入する。
LP-NASを微分可能なアーキテクチャ探索(DARTS)検索空間に適用すると、S-LP-DARTSとR-LP-DARTSの2つのアルゴリズム変種が得られる。
どちらの変種も、標準のDARTSアルゴリズムよりも高速な収束と早期探索の検証性能を実現している。
CIFAR-10とCIFAR-100の大規模な実験により、LP-DARTSはアーキテクチャ探索と評価フェーズの両方において標準DARTSよりも優れていた。
さらに,本手法をCIFAR-10データセット上のいくつかのDARTS変種(P-DARTS,PC-DARTS,STO-DARTS)と比較し,その有効性を示した。
さらに、ImageNetデータセットを用いた実験により、検出したアーキテクチャの転送可能性を検証する。
関連論文リスト
- DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。
具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。
本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。
BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
論文 参考訳（メタデータ） (2023-05-26T13:58:18Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - TND-NAS: Towards Non-differentiable Objectives in Progressive
Differentiable NAS Framework [6.895590095853327]
微分可能なアーキテクチャサーチは、ニューラルネットワークサーチ(NAS)分野において、徐々に主流の研究トピックになりつつある。
最近の差別化可能なNASは、検索性能の向上とGPUメモリ消費の削減も目指している。
微分可能なNASフレームワークにおける高効率と、多目的NASにおける非微分可能なメトリクス間の互換性を両立させたTND-NASを提案する。
論文 参考訳（メタデータ） (2021-11-06T14:19:36Z) - AdvantageNAS: Efficient Neural Architecture Search with Credit
Assignment [23.988393741948485]
ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。
アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。
NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
論文 参考訳（メタデータ） (2020-12-11T05:45:03Z) - Efficient Neural Architecture Search for End-to-end Speech Recognition
via Straight-Through Gradients [17.501966450686282]
そこで我々は,ST-NASと呼ばれるStraight-Through(ST)勾配を用いた効率的なニューラルネットワーク探索法を開発した。
広くベンチマークされた80時間のWSJと300時間のSwitchboardデータセットに対する実験は、ST-NASによって誘導されるアーキテクチャが、2つのデータセットで設計されたアーキテクチャを大幅に上回っていることを示している。
また,ST-NASのアーキテクチャ伝達性やメモリおよび時間における計算コストの低減といった強度についても報告する。
論文 参考訳（メタデータ） (2020-11-11T09:18:58Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z) - Geometry-Aware Gradient Algorithms for Neural Architecture Search [41.943045315986744]
重み付けによるNASを理解するために,単一レベルの経験的リスク最小化の研究を議論する。
本稿では,この最適化の基盤となる構造を利用して,疎度なアーキテクチャパラメータを返却する幾何対応フレームワークを提案する。
コンピュータビジョンにおける最新のNASベンチマークにおいて、最先端の精度を実現する。
論文 参考訳（メタデータ） (2020-04-16T17:46:39Z) - DSNAS: Direct Neural Architecture Search without Parameter Retraining [112.02966105995641]
この観測に基づいて,タスク固有のエンドツーエンドであるNASの新たな問題定義を提案する。
低バイアスモンテカルロ推定でアーキテクチャとパラメータを同時に最適化する効率的な微分可能なNASフレームワークであるDSNASを提案する。
DSNASは、420GPU時間でImageNetで同等の精度(74.4%)のネットワークを発見し、総時間を34%以上削減した。
論文 参考訳（メタデータ） (2020-02-21T04:41:47Z) - NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture
Search [55.12928953187342]
我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。
NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。
我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
論文 参考訳（メタデータ） (2020-01-02T05:28:26Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳（メタデータ） (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。