論文の概要: CSCO: Connectivity Search of Convolutional Operators

• arxiv url: http://arxiv.org/abs/2404.17152v1
• Date: Fri, 26 Apr 2024 04:52:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 14:04:24.281936
• Title: CSCO: Connectivity Search of Convolutional Operators
• Title（参考訳）: CSCO: 畳み込み演算子の接続性探索
• Authors: Tunhou Zhang, Shiyu Li, Hsin-Pai Cheng, Feng Yan, Hai Li, Yiran Chen,
• Abstract要約: 本稿では,畳み込み演算子の効率的な接続を実現する新しいパラダイムであるCSCOを提案する。 CSCOは、ニューラルネットワークによる探索を、地道的なパフォーマンスの代理として導く。 ImageNetの結果、手作りとNAS造の高密度接続よりもパフォーマンスが0.6%向上した。
• 参考スコア（独自算出の注目度）: 12.928148870505375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exploring dense connectivity of convolutional operators establishes critical "synapses" to communicate feature vectors from different levels and enriches the set of transformations on Computer Vision applications. Yet, even with heavy-machinery approaches such as Neural Architecture Search (NAS), discovering effective connectivity patterns requires tremendous efforts due to either constrained connectivity design space or a sub-optimal exploration process induced by an unconstrained search space. In this paper, we propose CSCO, a novel paradigm that fabricates effective connectivity of convolutional operators with minimal utilization of existing design motifs and further utilizes the discovered wiring to construct high-performing ConvNets. CSCO guides the exploration via a neural predictor as a surrogate of the ground-truth performance. We introduce Graph Isomorphism as data augmentation to improve sample efficiency and propose a Metropolis-Hastings Evolutionary Search (MH-ES) to evade locally optimal architectures and advance search quality. Results on ImageNet show ~0.6% performance improvement over hand-crafted and NAS-crafted dense connectivity. Our code is publicly available.
• Abstract（参考訳）: 畳み込み作用素の密接な接続の探索は、異なるレベルの特徴ベクトルを伝達し、コンピュータビジョンアプリケーションにおける変換のセットを強化するために重要な「シナプス」を確立する。 しかし、ニューラルネットワーク探索(NAS)のような重機的アプローチであっても、制約のある接続設計空間や制約のない検索空間によって誘導される準最適探索プロセスのために、効果的な接続パターンの発見には多大な努力が必要である。 本稿では,既存の設計モチーフを最小限に活用した畳み込み演算子の効率的な接続を実現する新しいパラダイムであるCSCOを提案する。 CSCOは、ニューラルネットワークによる探索を、地道的なパフォーマンスの代理として導く。 サンプル効率を向上させるため,グラフアイソモーフィズムをデータ拡張として導入し,MH-ES(Metropolis-Hastings Evolutionary Search)を提案する。 ImageNetの結果、手作りとNASで作り上げた高密度接続の性能はおよそ0.6%向上した。 私たちのコードは公開されています。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• SuperNet in Neural Architecture Search: A Taxonomic Survey [14.037182039950505]
  このサーベイは、ウェイトシェアリングを使用して、すべてのアーキテクチャをサブモデルとして組み立てるニューラルネットワークを構築するスーパーネット最適化に焦点を当てている。 データ側最適化、低ランク相関緩和、多数のデプロイメントシナリオに対するトランスファー可能なNASなどです。
  論文  参考訳（メタデータ） (2022-04-08T08:29:52Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• CONetV2: Efficient Auto-Channel Size Optimization for CNNs [35.951376988552695]
  本研究は,チャネルサイズのマイクロサーチ空間を調べることにより,計算制約のある環境において効率的な手法を提案する。 チャネルサイズ最適化に際し、ネットワークの異なる接続層内の依存関係を抽出する自動アルゴリズムを設計する。 また、テスト精度と高い相関性を持ち、個々のネットワーク層を解析できる新しいメトリクスも導入する。
  論文  参考訳（メタデータ） (2021-10-13T16:17:19Z)
• WAS-VTON: Warping Architecture Search for Virtual Try-on Network [57.52118202523266]
  NAS-Warping Moduleを導入し、二階層型検索空間を精巧に設計する。 衣料品同士のアライメントを念頭に置いて,反復可能なワープセルと畳み込み操作の組み合わせを学習する。 より自然な最終試行結果を合成するためにNAS-Fusion Moduleを提案する。
  論文  参考訳（メタデータ） (2021-08-01T07:52:56Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• Enabling Collaborative Video Sensing at the Edge through Convolutional Sharing [2.2488787113581923]
  ネットワーク内のピアノードが協調して人検出の精度を向上させる新しいパラダイムを提案する。 初期の結果は、単一のコラボレータで最大10%のリコールの改善を約束している。
  論文  参考訳（メタデータ） (2020-12-03T06:29:09Z)
• CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
  CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。 メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。 また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
  論文  参考訳（メタデータ） (2020-07-18T09:35:53Z)
• Neural Architecture Generator Optimization [9.082931889304723]
  我々はまず,NASを最適ネットワーク生成器の探索問題として検討する。 本稿では,非常に多様なネットワークタイプを表現可能な,階層的でグラフベースの検索空間を提案する。
  論文  参考訳（メタデータ） (2020-04-03T06:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。