論文の概要: Understanding Patterns of Deep Learning ModelEvolution in Network Architecture Search

• arxiv url: http://arxiv.org/abs/2309.12576v1
• Date: Fri, 22 Sep 2023 02:12:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 16:11:16.631934
• Title: Understanding Patterns of Deep Learning ModelEvolution in Network Architecture Search
• Title（参考訳）: ネットワークアーキテクチャ探索におけるディープラーニングモデル進化のパターン理解
• Authors: Robert Underwood, Meghana Madhastha, Randal Burns, Bogdan Nicolae
• Abstract要約: モデル構造の進化が正規化進化アルゴリズムによってどのように影響されるかを示す。 分散設定における進化的パターンの出現とキャッシュとスケジューリング改善の機会について述べる。
• 参考スコア（独自算出の注目度）: 0.8124699127636158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Network Architecture Search and specifically Regularized Evolution is a common way to refine the structure of a deep learning model.However, little is known about how models empirically evolve over time which has design implications for designing caching policies, refining the search algorithm for particular applications, and other important use cases.In this work, we algorithmically analyze and quantitatively characterize the patterns of model evolution for a set of models from the Candle project and the Nasbench-201 search space.We show how the evolution of the model structure is influenced by the regularized evolution algorithm. We describe how evolutionary patterns appear in distributed settings and opportunities for caching and improved scheduling. Lastly, we describe the conditions that affect when particular model architectures rise and fall in popularity based on their frequency of acting as a donor in a sliding window.
• Abstract（参考訳）: Network Architecture Search and specifically Regularized Evolution is a common way to refine the structure of a deep learning model.However, little is known about how models empirically evolve over time which has design implications for designing caching policies, refining the search algorithm for particular applications, and other important use cases.In this work, we algorithmically analyze and quantitatively characterize the patterns of model evolution for a set of models from the Candle project and the Nasbench-201 search space.We show how the evolution of the model structure is influenced by the regularized evolution algorithm. 分散設定における進化的パターンの出現とキャッシュとスケジューリング改善の機会について述べる。 最後に,スライディングウインドウでドナーとして振る舞う頻度に基づいて,特定のモデルアーキテクチャが普及し,その人気が低下する場合に影響を及ぼす条件について述べる。

関連論文リスト

• Mining Frequent Structures in Conceptual Models [2.841785306638839]
  本稿では,概念モデリング言語における頻繁な構造発見問題に対する一般的なアプローチを提案する。 我々は,頻繁な部分グラフマイニングアルゴリズムとグラフ操作手法を組み合わせる。 主な目的は、言語エンジニアのためのサポート施設を提供することである。
  論文  参考訳（メタデータ） (2024-06-11T10:24:02Z)
• Internal Representations of Vision Models Through the Lens of Frames on Data Manifolds [8.67467876089153]
  多様体の接束上のフレームの概念から着想を得た、そのような表現を研究するための新しいアプローチを提案する。 私たちの構成は、ニューラルネットワークフレームと呼ばれ、データポイントの特定の種類の摂動を表すベクトルの集合を組み立てることによって形成されます。 ニューラルフレームを用いて、データポイントの小さな近傍でモデル、層間、特定の変動モードの処理方法について観察する。
  論文  参考訳（メタデータ） (2022-11-19T01:48:19Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
  決定アルゴリズムは様々なアプリケーションで使われている。 数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。 モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
  論文  参考訳（メタデータ） (2022-05-05T13:40:08Z)
• Complex Evolutional Pattern Learning for Temporal Knowledge Graph Reasoning [60.94357727688448]
  TKG推論は、歴史的KG配列を考えると、将来の潜在的な事実を予測することを目的としている。 進化のパターンは、長さの多様性と時間変化の2つの側面において複雑である。 本稿では,CEN(Complex Evolutional Network)と呼ばれる新しいモデルを提案する。CNN(Convolutional Neural Network)を用いて,長さの異なる進化パターンを扱う。
  論文  参考訳（メタデータ） (2022-03-15T11:02:55Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• Towards a Predictive Processing Implementation of the Common Model of Cognition [79.63867412771461]
  本稿では,ニューラル生成符号化とホログラフィック連想記憶に基づく認知モデルの実装について述べる。 提案システムは,多様なタスクから継続的に学習し,大規模に人的パフォーマンスをモデル化するエージェントを開発するための基盤となる。
  論文  参考訳（メタデータ） (2021-05-15T22:55:23Z)
• EPNE: Evolutionary Pattern Preserving Network Embedding [26.06068388979255]
  本研究では,ノードの局所構造の進化パターンを保存するための時間ネットワーク埋め込みモデルEPNEを提案する。 時間情報の適切なモデリングにより,本モデルは様々な予測タスクにおいて,他の競合手法よりも優れている。
  論文  参考訳（メタデータ） (2020-09-24T06:31:14Z)
• Factorized Deep Generative Models for Trajectory Generation with Spatiotemporal-Validity Constraints [10.960924101404498]
  軌跡データの深い生成モデルは、洗練された潜伏パターンの表現的説明モデルを学ぶことができる。 まず、時間不変変数と時間不変変数を分解する新しい深部生成モデルを提案する。 そこで我々は,時間的妥当性に対する変動推論と制約付き最適化に基づく新しい推論戦略を開発した。
  論文  参考訳（メタデータ） (2020-09-20T02:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。