論文の概要: Efficient Joint-Dimensional Search with Solution Space Regularization
for Real-Time Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2208.05271v1
- Date: Wed, 10 Aug 2022 11:07:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-11 12:31:31.367659
- Title: Efficient Joint-Dimensional Search with Solution Space Regularization
for Real-Time Semantic Segmentation
- Title（参考訳）: リアルタイム意味セグメンテーションのための解空間正規化を用いた効率的な共同次元探索
- Authors: Peng Ye, Baopu Li, Tao Chen, Jiayuan Fan, Zhen Mei, Chen Lin, Chongyan
Zuo, Qinghua Chi, Wanli Ouyan
- Abstract要約: この問題に対して,リアルタイムに実行可能な最適ネットワーク構造を探索する。
新たな解空間規則化(SSR)損失は、スーパーネットが離散的に収束することを効果的に促すために最初に提案される。
より高効率な探索を実現するために,新しい階層的・プログレッシブ・ソリューション・スペース・スライキング法を提案する。
- 参考スコア（独自算出の注目度）: 27.94898516315886
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic segmentation is a popular research topic in computer vision, and
many efforts have been made on it with impressive results. In this paper, we
intend to search an optimal network structure that can run in real-time for
this problem. Towards this goal, we jointly search the depth, channel, dilation
rate and feature spatial resolution, which results in a search space consisting
of about 2.78*10^324 possible choices. To handle such a large search space, we
leverage differential architecture search methods. However, the architecture
parameters searched using existing differential methods need to be discretized,
which causes the discretization gap between the architecture parameters found
by the differential methods and their discretized version as the final solution
for the architecture search. Hence, we relieve the problem of discretization
gap from the innovative perspective of solution space regularization.
Specifically, a novel Solution Space Regularization (SSR) loss is first
proposed to effectively encourage the supernet to converge to its discrete one.
Then, a new Hierarchical and Progressive Solution Space Shrinking method is
presented to further achieve high efficiency of searching. In addition, we
theoretically show that the optimization of SSR loss is equivalent to the
L_0-norm regularization, which accounts for the improved search-evaluation gap.
Comprehensive experiments show that the proposed search scheme can efficiently
find an optimal network structure that yields an extremely fast speed (175 FPS)
of segmentation with a small model size (1 M) while maintaining comparable
accuracy.
- Abstract（参考訳）: セマンティックセグメンテーション(Semantic segmentation)は、コンピュータビジョンにおいて人気のある研究テーマであり、多くの研究成果が得られた。
本稿では,この問題に対して,リアルタイムに実行可能な最適なネットワーク構造を探索する。
この目的に向けて, 深さ, チャネル, 拡張率, 特徴空間分解能を共同で探索し, 探索空間は約2.78*10^324である。
このような大きな探索空間を扱うために,我々は差分アーキテクチャ探索法を利用する。
しかし、既存の差分法を用いて探索されたアーキテクチャパラメータを離散化する必要があるため、差分法で検出されたアーキテクチャパラメータと、アーキテクチャ探索の最終解として識別されたバージョンとの間の離散化ギャップが生じる。
したがって,解空間正則化のイノベーティブな視点から,離散化ギャップの問題を緩和する。
具体的には、新しい解空間規則化(SSR)損失が最初に提案され、スーパーネットが離散的に収束することを効果的に促す。
そして,新しい階層的・漸進的解空間縮小法を提案し,検索効率をさらに高める。
また,ssr損失の最適化はl_0ノルム正則化と同値であり,探索-評価ギャップが改善されることを理論的に示す。
包括的実験により,提案手法は,モデルサイズ (1 m) の小さいセグメンテーションの高速化 (175 fps) と同等の精度を維持しつつ,最適なネットワーク構造を効率的に見つけることができることを示した。
関連論文リスト
- MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model
Effectiveness and Efficiency [10.641875933652647]
我々は,多粒度アーキテクチャサーチ(MGAS)を導入し,効率的かつ効率的なニューラルネットワークを探索する。
各粒度レベル固有の離散化関数を学習し、進化したアーキテクチャに従って単位残率を適応的に決定する。
CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-10-23T16:32:18Z) - COIL: Constrained Optimization in Learned Latent Space -- Learning
Representations for Valid Solutions [4.372703857711996]
我々は変分オートエンコーダを用いて、遅延空間(COIL)における制約付き最適化の表現を学習する。
COILは制約を満たすことができ、最大2桁近い目標までの距離の解を求めることができる。
標準表現を用いた同一GAと比較すると,COILの学習遅延表現は制約を満たすことができ,最大2桁近い目標の解を求めることができる。
論文 参考訳（メタデータ） (2022-02-04T14:45:37Z) - iDARTS: Differentiable Architecture Search with Stochastic Implicit
Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。
暗黙の関数定理に基づいてDARTSの過次計算に取り組む。
提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文 参考訳（メタデータ） (2021-06-21T00:44:11Z) - Towards Improving the Consistency, Efficiency, and Flexibility of
Differentiable Neural Architecture Search [84.4140192638394]
最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。
本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。
また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
論文 参考訳（メタデータ） (2021-01-27T12:16:47Z) - Trilevel Neural Architecture Search for Efficient Single Image
Super-Resolution [127.92235484598811]
本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。
離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。
階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-17T12:19:49Z) - ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse
Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。
実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。
本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-13T04:34:24Z) - Discretization-Aware Architecture Search [81.35557425784026]
本稿では,離散化対応アーキテクチャサーチ(DAtextsuperscript2S)を提案する。
中心となる考え方は、超ネットワークを所望のトポロジの構成に向けることであり、離散化による精度損失がほとんど軽減される。
標準画像分類ベンチマークの実験は、我々のアプローチの優位性を実証している。
論文 参考訳（メタデータ） (2020-07-07T01:18:58Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳（メタデータ） (2020-06-18T08:23:02Z) - AlphaGAN: Fully Differentiable Architecture Search for Generative
Adversarial Networks [15.740179244963116]
GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。
本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。
我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-16T13:27:30Z) - MiLeNAS: Efficient Neural Architecture Search via Mixed-Level
Reformulation [25.56562895285528]
mldasはNASの混合レベルの改質であり、効率よく確実に最適化できる。
混合レベルの定式化に単純な一階法を用いる場合であっても、mldasはNAS問題の検証誤差を低くすることができる。
論文 参考訳（メタデータ） (2020-03-27T05:06:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。