論文の概要: Discretization-Aware Architecture Search

• arxiv url: http://arxiv.org/abs/2007.03154v1
• Date: Tue, 7 Jul 2020 01:18:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 18:12:31.747365
• Title: Discretization-Aware Architecture Search
• Title（参考訳）: 離散化・アウェアアーキテクチャ検索
• Authors: Yunjie Tian, Chang Liu, Lingxi Xie, Jianbin Jiao, Qixiang Ye
• Abstract要約: 本稿では,離散化対応アーキテクチャサーチ(DAtextsuperscript2S)を提案する。 中心となる考え方は、超ネットワークを所望のトポロジの構成に向けることであり、離散化による精度損失がほとんど軽減される。 標準画像分類ベンチマークの実験は、我々のアプローチの優位性を実証している。
• 参考スコア（独自算出の注目度）: 81.35557425784026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The search cost of neural architecture search (NAS) has been largely reduced by weight-sharing methods. These methods optimize a super-network with all possible edges and operations, and determine the optimal sub-network by discretization, \textit{i.e.}, pruning off weak candidates. The discretization process, performed on either operations or edges, incurs significant inaccuracy and thus the quality of the final architecture is not guaranteed. This paper presents discretization-aware architecture search (DA\textsuperscript{2}S), with the core idea being adding a loss term to push the super-network towards the configuration of desired topology, so that the accuracy loss brought by discretization is largely alleviated. Experiments on standard image classification benchmarks demonstrate the superiority of our approach, in particular, under imbalanced target network configurations that were not studied before.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)の探索コストは、重み付け法により大幅に削減されている。 これらの手法は、全ての可能なエッジと操作でスーパーネットワークを最適化し、離散化によって最適なサブネットワークを決定する。 操作またはエッジで実行される離散化プロセスは、重大な不正確を生じさせるため、最終的なアーキテクチャの品質は保証されない。 本稿では、離散化対応アーキテクチャサーチ(DA\textsuperscript{2}S)を提案し、その中核となる考え方は、超ネットワークを所望のトポロジーの構成に向ける損失項を追加することである。 標準画像分類ベンチマークの実験は、これまで研究されなかった不均衡なターゲットネットワーク構成の下で、我々のアプローチの優位性を実証している。

関連論文リスト

• Network Pruning Spaces [12.692532576302426]
  ウェイトプルーニングやフィルタプルーニングなどのネットワークプルーニング技術により、ほとんどの最先端のニューラルネットワークは、大幅な性能低下なしに加速できることが明らかになった。 この研究は、市販のディープラーニングライブラリやハードウェアで推論を高速化するフィルタプルーニングに焦点を当てている。
  論文  参考訳（メタデータ） (2023-04-19T06:52:05Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Efficient Joint-Dimensional Search with Solution Space Regularization for Real-Time Semantic Segmentation [27.94898516315886]
  この問題に対して,リアルタイムに実行可能な最適ネットワーク構造を探索する。 新たな解空間規則化(SSR)損失は、スーパーネットが離散的に収束することを効果的に促すために最初に提案される。 より高効率な探索を実現するために,新しい階層的・プログレッシブ・ソリューション・スペース・スライキング法を提案する。
  論文  参考訳（メタデータ） (2022-08-10T11:07:33Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• Weight Reparametrization for Budget-Aware Network Pruning [12.633386045916444]
  我々は、微調整なしでトレーニングとプルーニングを同時に行う「エンドツーエンド」軽量ネットワーク設計を導入する。 本手法は,重みだけでなく,軽量サブネットワークのトポロジ的構造も学習する再パラメータ化に依存する。 CIFAR10とTinyImageNetデータセットで実施された実験は、標準アーキテクチャを使用して、微調整なしで魅力的な結果を示している。
  論文  参考訳（メタデータ） (2021-07-08T15:40:16Z)
• AP-Loss for Accurate One-Stage Object Detection [49.13608882885456]
  一段階の物体検出器は、分類損失と局所化損失を同時に最適化することによって訓練される。 前者は、多数のアンカーのため、非常に前景と後方のアンカーの不均衡に悩まされる。 本稿では,一段検知器の分類タスクをランキングタスクに置き換える新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2020-08-17T13:22:01Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。