論文の概要: Optimal Transport Kernels for Sequential and Parallel Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2006.07593v3
• Date: Thu, 10 Jun 2021 06:55:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 20:25:46.852944
• Title: Optimal Transport Kernels for Sequential and Parallel Neural Architecture Search
• Title（参考訳）: 逐次および並列ニューラルアーキテクチャ探索のための最適トランスポートカーネル
• Authors: Vu Nguyen and Tam Le and Makoto Yamada and Michael A Osborne
• Abstract要約: ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワークの設計を自動化する。 主な課題の1つは、従来のユークリッド計量が捕捉できないようなネットワークの類似性を比較することである。 我々は OT の負定値変種であるtree-Wasserstein (TW) の上に構築する。
• 参考スコア（独自算出の注目度）: 42.654535636271085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) automates the design of deep neural networks. One of the main challenges in searching complex and non-continuous architectures is to compare the similarity of networks that the conventional Euclidean metric may fail to capture. Optimal transport (OT) is resilient to such complex structure by considering the minimal cost for transporting a network into another. However, the OT is generally not negative definite which may limit its ability to build the positive-definite kernels required in many kernel-dependent frameworks. Building upon tree-Wasserstein (TW), which is a negative definite variant of OT, we develop a novel discrepancy for neural architectures, and demonstrate it within a Gaussian process surrogate model for the sequential NAS settings. Furthermore, we derive a novel parallel NAS, using quality k-determinantal point process on the GP posterior, to select diverse and high-performing architectures from a discrete set of candidates. Empirically, we demonstrate that our TW-based approaches outperform other baselines in both sequential and parallel NAS.
• Abstract（参考訳）: neural architecture search (nas) はディープニューラルネットワークの設計を自動化する。 複雑で連続的でないアーキテクチャを探索する主な課題の1つは、従来のユークリッド計量が捉えられないネットワークの類似性を比較することである。 最適輸送(OT)は、ネットワークを他のネットワークに転送する際の最小コストを考慮することで、そのような複雑な構造に対して弾力性を持つ。 しかし、OTは一般に負の定性ではないため、多くのカーネル依存フレームワークで必要とされる正の定性カーネルを構築する能力を制限する可能性がある。 OTの負の定値変種であるtree-Wasserstein (TW) をベースとして,ニューラルアーキテクチャの新たな相違を開発し,逐次NAS設定のためのガウス過程サロゲートモデルでそれを実証する。 さらに,GP後部における高品質なk-決定点プロセスを用いて並列NASを導出し,個別の候補集合から多種多様かつ高性能なアーキテクチャを選択する。 経験的に、twベースのアプローチがシーケンシャルなnasと並列なnasの両方で、他のベースラインよりも優れています。

関連論文リスト

• Neural Architecture Search using Particle Swarm and Ant Colony Optimization [0.0]
  本稿では,OpenNASのSwarm Intelligence (SI)コンポーネントを用いたCNNのトレーニングと最適化に焦点を当てる。 画像の分類において,OpenNAS(Neural Architecture Search)のオープンソースツールを統合するシステムを開発した。
  論文  参考訳（メタデータ） (2024-03-06T15:23:26Z)
• ShiftNAS: Improving One-shot NAS via Probability Shift [1.3537414663819973]
  ネットワークの複雑さに基づいてサンプリング確率を調整する手法であるShiftNASを提案する。 我々は、畳み込みニューラルネットワーク(CNN)や視覚変換器(ViT)を含む複数の視覚ネットワークモデルに対するアプローチを評価する。 ImageNetの実験結果によると、ShiftNASは追加消費なしでワンショットNASの性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-07-17T07:53:23Z)
• Lightweight Neural Architecture Search for Temporal Convolutional Networks at the Edge [21.72253397805102]
  この研究は特に、時系列処理のための畳み込みモデルであるTCN(Temporal Convolutional Networks)に焦点を当てている。 我々は,TNの最も特異なアーキテクチャパラメータの最適化を明示的に目標とする最初のNASツールを提案する。 提案したNASは,音声および生体信号を含む4つの実世界のエッジ関連タスクでテストする。
  論文  参考訳（メタデータ） (2023-01-24T19:47:40Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• Neural Architecture Search as Sparse Supernet [78.09905626281046]
  本稿では,単一パスと複数パスの探索から混合パスの自動探索へ,ニューラルネットワーク探索(NAS)の問題を拡大することを目的とする。 我々はNAS問題をスパース・スーパーネットとして,空間制約を混合した新しい連続アーキテクチャ表現を用いてモデル化する。 スパーススーパーネットは、コンパクトなノードセット上でスパース混合パスを自動的に達成する。
  論文  参考訳（メタデータ） (2020-07-31T14:51:52Z)
• Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery [54.60327265077322]
  スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。 本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。 本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
  論文  参考訳（メタデータ） (2020-07-07T00:57:09Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。