論文の概要: Redefining Neural Architecture Search of Heterogeneous Multi-Network
Models by Characterizing Variation Operators and Model Components
- arxiv url: http://arxiv.org/abs/2106.08972v2
- Date: Wed, 17 Aug 2022 17:38:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-26 13:09:51.559065
- Title: Redefining Neural Architecture Search of Heterogeneous Multi-Network
Models by Characterizing Variation Operators and Model Components
- Title（参考訳）: 変分演算子とモデル成分の同定による異種マルチネットワークモデルのニューラルアーキテクチャ探索
- Authors: Unai Garciarena, Roberto Santana, Alexander Mendiburu
- Abstract要約: 複素領域における異なる変動演算子の効果について検討する。
モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
- 参考スコア（独自算出の注目度）: 71.03032589756434
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: With neural architecture search methods gaining ground on manually designed
deep neural networks -even more rapidly as model sophistication escalates-, the
research trend shifts towards arranging different and often increasingly
complex neural architecture search spaces. In this conjuncture, delineating
algorithms which can efficiently explore these search spaces can result in a
significant improvement over currently used methods, which, in general,
randomly select the structural variation operator, hoping for a performance
gain. In this paper, we investigate the effect of different variation operators
in a complex domain, that of multi-network heterogeneous neural models. These
models have an extensive and complex search space of structures as they require
multiple sub-networks within the general model in order to answer to different
output types. From that investigation, we extract a set of general guidelines,
whose application is not limited to that particular type of model, and are
useful to determine the direction in which an architecture optimization method
could find the largest improvement. To deduce the set of guidelines, we
characterize both the variation operators, according to their effect on the
complexity and performance of the model; and the models, relying on diverse
metrics which estimate the quality of the different parts composing it.
- Abstract（参考訳）: 手動で設計したディープニューラルネットワーク(モデル洗練がエスカレートするにつれて、より高速に)に基盤を置くニューラルネットワークサーチ手法によって、研究トレンドは異なる複雑なニューラルネットワークサーチスペースの配置へとシフトする。
この接続において、これらの探索空間を効率的に探索できる行列化アルゴリズムは、現在使われている手法よりも大幅に改善され、一般に、性能向上を期待して構造変化演算子をランダムに選択する。
本稿では,複雑な領域における異なる変動演算子,マルチネットワーク不均質ニューラルモデルの効果について検討する。
これらのモデルは、様々な出力タイプに対応するために、一般的なモデル内で複数のサブネットワークを必要とするため、広範囲で複雑な構造探索空間を持つ。
この調査から,適用範囲が特定のモデルに限定されず,アーキテクチャ最適化手法が最大の改善点を見出す方向を決定する上で有用である,一般的なガイドラインのセットを抽出する。
ガイドラインのセットを推定するために、モデルの複雑さとパフォーマンスへの影響に応じて、変動演算子と、その構成する異なる部分の品質を推定する多様なメトリクスに依存するモデルの両方を特徴付ける。
関連論文リスト
- Multiobjective Evolutionary Pruning of Deep Neural Networks with
Transfer Learning for improving their Performance and Robustness [15.29595828816055]
本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。
我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。
実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
論文 参考訳（メタデータ） (2023-02-20T19:33:38Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳（メタデータ） (2022-05-25T17:37:08Z) - Learning Interpretable Models Through Multi-Objective Neural
Architecture Search [0.9990687944474739]
本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。
タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
論文 参考訳（メタデータ） (2021-12-16T05:50:55Z) - Pareto-wise Ranking Classifier for Multi-objective Evolutionary Neural
Architecture Search [15.454709248397208]
本研究は,多様な設計目的の下で実現可能な深層モデルを見つける方法に焦点を当てる。
オンライン分類器を訓練し、候補と構築された参照アーキテクチャとの優位性関係を予測する。
さまざまな目的や制約の下で、2Mから6Mまでの異なるモデルサイズを持つ多数のニューラルアーキテクチャを見つけます。
論文 参考訳（メタデータ） (2021-09-14T13:28:07Z) - Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。
本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。
提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
論文 参考訳（メタデータ） (2021-08-10T00:53:39Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z) - AutoAdapt: Automated Segmentation Network Search for Unsupervised Domain
Adaptation [4.793219747021116]
我々は、ドメイン適応のためのアーキテクチャレベルの視点と分析を提供するために、ニューラルアーキテクチャサーチ(NAS)を実行する。
本稿では,最大平均誤差と地域重み付きエントロピーを用いて,このギャップを埋めて精度を推定する手法を提案する。
論文 参考訳（メタデータ） (2021-06-24T17:59:02Z) - Differentiable Neural Architecture Search with Morphism-based
Transformable Backbone Architectures [35.652234989200956]
本研究の目的は,ワンショットトレーニングやオンライントレーニングにアーキテクチャ検索プロセスをより適応させることである。
ネットワークアソシエーションに基づいた、微分可能なニューラルアーキテクチャ探索のための成長メカニズムを導入している。
また、リカレントニューラルネットワークのための最近提案された2入力バックボーンアーキテクチャを実装した。
論文 参考訳（メタデータ） (2021-06-14T07:56:33Z) - On the Exploitation of Neuroevolutionary Information: Analyzing the Past
for a More Efficient Future [60.99717891994599]
本稿では,神経進化過程から情報を抽出し,メタモデルを構築するアプローチを提案する。
本稿では, 異なる特徴を有する生成的対向ネットワークの神経進化的探索における最良の構造について検討する。
論文 参考訳（メタデータ） (2021-05-26T20:55:29Z) - Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。
本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
論文 参考訳（メタデータ） (2020-08-24T09:49:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。