論文の概要: Conditional Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2006.03969v1
• Date: Sat, 6 Jun 2020 20:39:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 21:15:12.575968
• Title: Conditional Neural Architecture Search
• Title（参考訳）: 条件付きニューラルアーキテクチャ探索
• Authors: Sheng-Chun Kao, Arun Ramamurthy, Reed Williams, Tushar Krishna
• Abstract要約: これは、よく訓練されたMLモデルがエッジプラットフォームをデプロイする制約に適合しない場合が多い。 本稿では,異なるプラットフォームで実現可能なMLモデルを生成するGANを用いた条件付きニューラルネットワーク探索手法を提案する。
• 参考スコア（独自算出の注目度）: 5.466990830092397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing resource-efficient Deep Neural Networks (DNNs) is critical to deploy deep learning solutions over edge platforms due to diverse performance, power, and memory budgets. Unfortunately, it is often the case a well-trained ML model does not fit to the constraint of deploying edge platforms, causing a long iteration of model reduction and retraining process. Moreover, a ML model optimized for platform-A often may not be suitable when we deploy it on another platform-B, causing another iteration of model retraining. We propose a conditional neural architecture search method using GAN, which produces feasible ML models for different platforms. We present a new workflow to generate constraint-optimized DNN models. This is the first work of bringing in condition and adversarial technique into Neural Architecture Search domain. We verify the method with regression problems and classification on CIFAR-10. The proposed workflow can successfully generate resource-optimized MLP or CNN-based networks.
• Abstract（参考訳）: リソース効率のよいDeep Neural Networks(DNN)の設計は、さまざまなパフォーマンス、パワー、メモリ予算のために、エッジプラットフォームにディープラーニングソリューションをデプロイすることが重要である。 残念なことに、よく訓練されたmlモデルがエッジプラットフォームデプロイの制約に適合しない場合が多いため、モデル削減と再トレーニングの長いイテレーションが発生する。 さらに、プラットフォームA向けに最適化されたMLモデルは、別のプラットフォームBにデプロイするときに適さないことが多く、モデル再トレーニングの別のイテレーションを引き起こします。 本稿では,異なるプラットフォームで実現可能なMLモデルを生成するGANを用いた条件付きニューラルネットワーク探索手法を提案する。 制約最適化DNNモデルを生成する新しいワークフローを提案する。 これは、ニューラルネットワーク検索ドメインに条件付きおよび逆テクニックを導入する最初の作業である。 CIFAR-10の回帰問題と分類による手法を検証する。 提案するワークフローは、リソース最適化MLPまたはCNNベースのネットワークをうまく生成できる。

関連論文リスト

• State-driven Implicit Modeling for Sparsity and Robustness in Neural Networks [3.604879434384177]
  SIM(State-driven Implicit Modeling)と呼ばれる暗黙的モデルをトレーニングするための新しいアプローチを提案する。 SIMは内部の状態と出力をベースラインモデルと一致させ、コストのかかる後方計算を回避する。 本稿では,データセット上でトレーニングされたベースラインモデルの空間性とロバスト性を大幅に向上するためにSIMアプローチを適用する方法を示す。
  論文  参考訳（メタデータ） (2022-09-19T23:58:48Z)
• Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
  単一チャネルソース分離(SCSS)の問題点について検討する。 我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。 本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T14:04:56Z)
• RLFlow: Optimising Neural Network Subgraph Transformation with World Models [0.0]
  本稿では,ニューラルネットワークのアーキテクチャを最適化するためのモデルベースエージェントを提案する。 提案手法は, 共通の畳み込みネットワーク上での最先端技術の性能に適合し, トランスフォーマースタイルのアーキテクチャでは最大5%性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-03T11:52:54Z)
• Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
  視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
  論文  参考訳（メタデータ） (2022-02-22T02:33:54Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Causality-aware counterfactual confounding adjustment for feature representations learned by deep models [14.554818659491644]
  因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。 深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
  論文  参考訳（メタデータ） (2020-04-20T17:37:36Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。