論文の概要: Conceptual Expansion Neural Architecture Search (CENAS)
- arxiv url: http://arxiv.org/abs/2110.03144v1
- Date: Thu, 7 Oct 2021 02:29:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 15:36:32.067161
- Title: Conceptual Expansion Neural Architecture Search (CENAS)
- Title(参考訳): 概念展開型ニューラルアーキテクチャサーチ(CENAS)
- Authors: Mohan Singamsetti, Anmol Mahajan and Matthew Guzdial
- Abstract要約: 概念拡張ニューラルアーキテクチャサーチ(CENAS)という手法を提案する。
サンプル効率が高く、計算的創造性にインスパイアされたトランスファーラーニングアプローチとニューラルアーキテクチャサーチを組み合わせたものだ。
新しいモデルのパラメータを近似するために、既存の重みを転送することで、素早いアーキテクチャ探索よりも高速なモデルを見つける。
- 参考スコア(独自算出の注目度): 1.3464152928754485
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Architecture search optimizes the structure of a neural network for some task
instead of relying on manual authoring. However, it is slow, as each potential
architecture is typically trained from scratch. In this paper we present an
approach called Conceptual Expansion Neural Architecture Search (CENAS) that
combines a sample-efficient, computational creativity-inspired transfer
learning approach with neural architecture search. This approach finds models
faster than naive architecture search via transferring existing weights to
approximate the parameters of the new model. It outperforms standard transfer
learning by allowing for the addition of features instead of only modifying
existing features. We demonstrate that our approach outperforms standard neural
architecture search and transfer learning methods in terms of efficiency,
performance, and parameter counts on a variety of transfer learning tasks.
- Abstract(参考訳): アーキテクチャ検索は、手動のオーサリングに頼るのではなく、あるタスクのためにニューラルネットワークの構造を最適化する。
しかしながら、潜在的なアーキテクチャは一般的にスクラッチからトレーニングされるため、遅い。
本稿では,CENAS(Conceptual Expansion Neural Architecture Search)と呼ばれる手法を提案する。
提案手法では, 既存の重み付けを伝達することで, 新モデルのパラメータを近似することで, アーキテクチャ探索よりも高速なモデルを求める。
既存の機能だけを変更するのではなく、機能の追加を可能にすることで、標準的な転送学習よりも優れています。
提案手法は, 各種伝達学習タスクにおいて, 効率, 性能, パラメータ数の観点から, 標準的なニューラルアーキテクチャ探索および伝達学習法より優れていることを示す。
関連論文リスト
- EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
眼球運動バイオメトリックスは、高い安全性の識別により注目されている。
深層学習(DL)モデルは近年,眼球運動認識に成功している。
DLアーキテクチャはまだ人間の事前知識によって決定されている。
眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
論文 参考訳(メタデータ) (2024-09-22T13:11:08Z) - Design Principle Transfer in Neural Architecture Search via Large Language Models [37.004026595537006]
トランスファーブルニューラルアーキテクチャサーチ(TNAS)は、複数のタスクのための効率的なニューラルアーキテクチャを設計するために導入された。
TNASでは、従来の検索プロセスに蓄積されたアーキテクチャ知識を再利用して、新しいタスクのアーキテクチャ検索を温める。
本研究は,新しい伝達パラダイム,すなわち設計原理伝達を提案する。
論文 参考訳(メタデータ) (2024-08-21T04:27:44Z) - Training-free Neural Architecture Search for RNNs and Transformers [0.0]
我々は、RNNアーキテクチャのトレーニング性能を予測する、隠れ共分散と呼ばれる新しいトレーニングフリーメトリックを開発した。
トランスフォーマーアーキテクチャの現在の検索空間パラダイムは、トレーニング不要なニューラルアーキテクチャサーチに最適化されていない。
論文 参考訳(メタデータ) (2023-06-01T02:06:13Z) - Proxyless Neural Architecture Adaptation for Supervised Learning and
Self-Supervised Learning [3.766702945560518]
本稿では、再現性と効率のよいプロキシレスニューラルアーキテクチャ適応を提案する。
本手法は,教師付き学習と自己教師型学習の両方に適用できる。
論文 参考訳(メタデータ) (2022-05-15T02:49:48Z) - Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。
NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-03-31T10:16:10Z) - Network Graph Based Neural Architecture Search [57.78724765340237]
我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。
グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
論文 参考訳(メタデータ) (2021-12-15T00:12:03Z) - Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。
本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。
提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
論文 参考訳(メタデータ) (2021-08-10T00:53:39Z) - Differentiable Neural Architecture Search with Morphism-based
Transformable Backbone Architectures [35.652234989200956]
本研究の目的は,ワンショットトレーニングやオンライントレーニングにアーキテクチャ検索プロセスをより適応させることである。
ネットワークアソシエーションに基づいた、微分可能なニューラルアーキテクチャ探索のための成長メカニズムを導入している。
また、リカレントニューラルネットワークのための最近提案された2入力バックボーンアーキテクチャを実装した。
論文 参考訳(メタデータ) (2021-06-14T07:56:33Z) - NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。
我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。
既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
論文 参考訳(メタデータ) (2020-08-26T17:59:36Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳(メタデータ) (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。