論文の概要: GeneCAI: Genetic Evolution for Acquiring Compact AI

• arxiv url: http://arxiv.org/abs/2004.04249v2
• Date: Tue, 14 Apr 2020 04:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 07:52:44.007538
• Title: GeneCAI: Genetic Evolution for Acquiring Compact AI
• Title（参考訳）: GeneCAI: コンパクトAIの遺伝的進化
• Authors: Mojan Javaheripi, Mohammad Samragh, Tara Javidi, Farinaz Koushanfar
• Abstract要約: ディープニューラルネットワーク(DNN)は、より高い推論精度を達成するために、より複雑なアーキテクチャへと進化している。 モデル圧縮技術は、リソース制限されたモバイルデバイスにそのような計算集約的なアーキテクチャを効率的に展開するために利用することができる。 本稿では,階層ごとの圧縮ハイパーパラメータのチューニング方法を自動的に学習する新しい最適化手法であるGeneCAIを紹介する。
• 参考スコア（独自算出の注目度）: 36.04715576228068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the contemporary big data realm, Deep Neural Networks (DNNs) are evolving towards more complex architectures to achieve higher inference accuracy. Model compression techniques can be leveraged to efficiently deploy such compute-intensive architectures on resource-limited mobile devices. Such methods comprise various hyper-parameters that require per-layer customization to ensure high accuracy. Choosing such hyper-parameters is cumbersome as the pertinent search space grows exponentially with model layers. This paper introduces GeneCAI, a novel optimization method that automatically learns how to tune per-layer compression hyper-parameters. We devise a bijective translation scheme that encodes compressed DNNs to the genotype space. The optimality of each genotype is measured using a multi-objective score based on accuracy and number of floating point operations. We develop customized genetic operations to iteratively evolve the non-dominated solutions towards the optimal Pareto front, thus, capturing the optimal trade-off between model accuracy and complexity. GeneCAI optimization method is highly scalable and can achieve a near-linear performance boost on distributed multi-GPU platforms. Our extensive evaluations demonstrate that GeneCAI outperforms existing rule-based and reinforcement learning methods in DNN compression by finding models that lie on a better accuracy-complexity Pareto curve.
• Abstract（参考訳）: 現代のビッグデータの世界では、Deep Neural Networks(DNN)がより複雑なアーキテクチャへと進化し、より高い推論精度を実現している。 モデル圧縮技術は、リソース制限されたモバイルデバイスにそのような計算集約的なアーキテクチャを効率的に展開するために利用することができる。 このような手法は、高い精度を確保するために層ごとのカスタマイズを必要とする様々なハイパーパラメータから構成される。 このようなハイパーパラメータの選択は、関連する探索空間がモデル層とともに指数関数的に増加するため、面倒である。 本稿では,階層間圧縮ハイパーパラメータのチューニング方法を自動的に学習する新しい最適化手法であるGeneCAIを紹介する。 圧縮されたDNNをジェノタイプ空間に符号化するビジェクティブ翻訳方式を考案する。 各遺伝子型の最適性は、精度と浮動小数点演算数に基づいて多目的スコアを用いて測定される。 そこで我々は, モデル精度と複雑性の最適なトレードオフを捉えるため, 最適化された遺伝的操作を開発し, 非支配的ソリューションを最適パレートに進化させる。 GeneCAI最適化はスケーラビリティが高く,分散マルチGPUプラットフォーム上でほぼ直線的な性能向上を実現する。 広範な評価結果から,genecaiは精度・複雑さ・パレート曲線に基づくモデルを見つけることで,dnn圧縮における既存のルールベースおよび強化学習手法よりも優れていることが示された。

関連論文リスト

• Automatically Learning Hybrid Digital Twins of Dynamical Systems [56.69628749813084]
  Digital Twins (DT)は、現実世界のシステムの状態と時間力学をシミュレートする。 DTは、しばしばデータスカース設定で目に見えない条件に一般化するのに苦労します。 本稿では,HDTwinsを自律的に提案し,評価し,最適化するための進化的アルゴリズム(textbfHDTwinGen$)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T07:28:22Z)
• Discovering Physics-Informed Neural Networks Model for Solving Partial Differential Equations through Evolutionary Computation [5.8407437499182935]
  本稿では,より高い近似精度と高速収束率を持つPINNモデルの探索を目的とした進化的計算手法を提案する。 実験では、ベイズ最適化、ランダム探索、進化を通じて探索される異なるモデルの性能を比較して、クライン=ゴルドン方程式、バーガー方程式、ラム方程式を解く。
  論文  参考訳（メタデータ） (2024-05-18T07:32:02Z)
• Fast Genetic Algorithm for feature selection -- A qualitative approximation approach [5.279268784803583]
  本稿では,遺伝的アルゴリズム(GA)を特徴選択に用いることによって生じる計算問題に対処するための,2段階の代理支援進化的アプローチを提案する。 我々はCHCQXがより高速に収束し、特に100K以上のインスタンスを持つ大規模データセットにおいて、非常に高い精度でサブセットソリューションを特徴付けることを示した。
  論文  参考訳（メタデータ） (2024-04-05T10:15:24Z)
• Hybrid Genetic Algorithm and Hill Climbing Optimization for the Neural Network [0.0]
  CIFAR-100データセット上での畳み込みニューラルネットワーク(CNN)の最適化のための遺伝的アルゴリズムとヒルクライミングアルゴリズムを組み合わせたハイブリッドモデルを提案する。 提案したハイブリッドモデルでは, 標準アルゴリズムと比較して, より少ない世代で精度が向上する。
  論文  参考訳（メタデータ） (2023-08-24T22:03:18Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• Genetic-algorithm-optimized neural networks for gravitational wave classification [0.0]
  遺伝的アルゴリズム(GA)に基づくハイパーパラメータ最適化の新しい手法を提案する。 我々は,初期パラメータのシード値が良い解には程遠い場合に,GAが高品質なアーキテクチャを発見できることを示す。 遺伝的アルゴリズムの最適化を用いて既存のネットワークを洗練することは、問題コンテキストが変化した場合に特に有用である。
  論文  参考訳（メタデータ） (2020-10-09T03:14:20Z)
• A Study of Genetic Algorithms for Hyperparameter Optimization of Neural Networks in Machine Translation [0.0]
  遺伝的アルゴリズムを用いて,ダーウィンのファイトテスト理論の生存をモデルとした自動チューニング手法を提案する。 研究結果は,提案手法であるGAがハイパーパラメータのランダムな選択よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-15T02:24:16Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。