Fugu-MT 論文翻訳(概要): Manas: Mining Software Repositories to Assist AutoML

論文の概要: Manas: Mining Software Repositories to Assist AutoML

arxiv url: http://arxiv.org/abs/2112.03395v1
Date: Mon, 6 Dec 2021 22:34:04 GMT
ステータス: 処理完了
システム内更新日: 2021-12-08 16:04:46.443486
Title: Manas: Mining Software Repositories to Assist AutoML
Title（参考訳）: manas: automlを支援するソフトウェアリポジトリのマイニング
Authors: Giang Nguyen, Johir Islam, Rangeet Pan, and Hridesh Rajan
Abstract要約: ディープラーニングに関するソフトウェアエンジニアリングの問題は、タスクに適切な畳み込みニューラルネットワーク(CNN)モデルを見つけることが開発者にとって難しいことだ。より正確にはニューラルアーキテクチャサーチ(NAS)であるAutoMLの最近の研究は、この問題の解決を目指している。我々はNASの新しいアプローチを提案し、デフォルトのCNNモデルから始める代わりに、初期モデルはGitHubから抽出されたモデルのリポジトリから選択される。
参考スコア（独自算出の注目度）: 13.401003736494273
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Today deep learning is widely used for building software. A software engineering problem with deep learning is that finding an appropriate convolutional neural network (CNN) model for the task can be a challenge for developers. Recent work on AutoML, more precisely neural architecture search (NAS), embodied by tools like Auto-Keras aims to solve this problem by essentially viewing it as a search problem where the starting point is a default CNN model, and mutation of this CNN model allows exploration of the space of CNN models to find a CNN model that will work best for the problem. These works have had significant success in producing high-accuracy CNN models. There are two problems, however. First, NAS can be very costly, often taking several hours to complete. Second, CNN models produced by NAS can be very complex that makes it harder to understand them and costlier to train them. We propose a novel approach for NAS, where instead of starting from a default CNN model, the initial model is selected from a repository of models extracted from GitHub. The intuition being that developers solving a similar problem may have developed a better starting point compared to the default model. We also analyze common layer patterns of CNN models in the wild to understand changes that the developers make to improve their models. Our approach uses commonly occurring changes as mutation operators in NAS. We have extended Auto-Keras to implement our approach. Our evaluation using 8 top voted problems from Kaggle for tasks including image classification and image regression shows that given the same search time, without loss of accuracy, Manas produces models with 42.9% to 99.6% fewer number of parameters than Auto-Keras' models. Benchmarked on GPU, Manas' models train 30.3% to 641.6% faster than Auto-Keras' models.
Abstract（参考訳）: 現在、ディープラーニングはソフトウェア構築に広く使われている。ディープラーニングにおけるソフトウェアエンジニアリングの問題は、タスクに適切な畳み込みニューラルネットワーク(CNN)モデルを見つけることが開発者にとって難しいことだ。 Auto-Kerasのようなツールによって具現化されたAutoMLに関する最近の研究は、基本的には、開始点がデフォルトのCNNモデルである検索問題として見なすことによって、この問題を解決することを目的としており、このCNNモデルの変異により、CNNモデルの空間を探索して、問題に最適なCNNモデルを見つけることができる。これらの作品は高い精度のcnnモデルの生産で大きな成功を収めている。しかし、2つの問題がある。まず、NASは非常にコストがかかり、完成までに数時間かかることが多い。第二に、NASが生成するCNNモデルは非常に複雑であり、それらを理解するのが難しく、トレーニングにコストがかかる。我々は、nasの新しいアプローチを提案し、デフォルトのcnnモデルから始める代わりに、最初のモデルはgithubから抽出されたモデルのリポジトリから選択される。直観的には、同様の問題を解決する開発者は、デフォルトモデルよりも優れた出発点を開発したかもしれない。また、CNNモデルの共通レイヤパターンを分析し、開発者がモデルを改善するために行う変化を理解します。我々のアプローチではNASの突然変異演算子として一般的に発生する変化を用いる。アプローチを実装するためにAuto-Kerasを拡張しました。画像分類や画像回帰などのタスクに対して、Kaggleの8つの上位投票問題を用いた評価では、精度を損なわずに同じ検索時間で、ManasはAuto-Kerasのモデルよりも42.9%から99.6%少ないパラメータのモデルを生成する。 GPUをベンチマークして、ManasのモデルはAuto-Kerasのモデルよりも30.3%から641.6%速くトレーニングする。

関連論文リスト

Modeling & Evaluating the Performance of Convolutional Neural Networks for Classifying Steel Surface Defects [0.0]
近年,畳み込みニューラルネットワーク(CNN)により画像分類タスクにおける顕著な識別率が達成されている。 DenseNet201は、NEUデータセットで最大の検出率を示し、98.37%に低下した。
論文参考訳（メタデータ） (2024-06-19T08:14:50Z)
Reusing Convolutional Neural Network Models through Modularization and Composition [22.823870645316397]
我々はCNNSplitterとGradSplitterという2つのモジュール化手法を提案する。 CNNSplitterは、トレーニングされた畳み込みニューラルネットワーク(CNN)モデルを、小さな再利用可能なモジュールとして$N$に分解する。生成されたモジュールは、既存のCNNモデルにパッチを当てたり、コンポジションを通じて新しいCNNモデルを構築するために再利用することができる。
論文参考訳（メタデータ） (2023-11-08T03:18:49Z)
Robust Mixture-of-Expert Training for Convolutional Neural Networks [141.3531209949845]
スパースゲート型Mixture of Expert (MoE) は高精度で超効率的なモデル推論を実現するための大きな可能性を実証している。本稿では、AdvMoEと呼ばれるMoEのための新しいルータ-エキスパート交互学習フレームワークを提案する。その結果,AdvMoEは従来の高密度CNNに比べて1%の対向ロバスト性向上を実現し,親和性に富むMoEの有効性を享受できることがわかった。
論文参考訳（メタデータ） (2023-08-19T20:58:21Z)
A Lightweight CNN-Transformer Model for Learning Traveling Salesman Problems [0.0]
CNN-Transformerモデルは、CNN埋め込み層を用いて入力データから空間的特徴をよりよく学習することができる。提案モデルは,実世界のデータセットで最高の性能を示す。
論文参考訳（メタデータ） (2023-05-03T04:28:10Z)
InternImage: Exploring Large-Scale Vision Foundation Models with Deformable Convolutions [95.94629864981091]
この研究は、パラメータの増加やViTsのようなトレーニングデータから得られるインターンイメージと呼ばれる、CNNベースの新しい大規模ファンデーションモデルを提案する。提案されたInternImageは、従来のCNNの厳格な帰納バイアスを低減し、ViTのような大規模データから、より強く堅牢なパターンを学習できるようにする。
論文参考訳（メタデータ） (2022-11-10T18:59:04Z)
Self Similarity Matrix based CNN Filter Pruning [1.6799377888527687]
2次元CNNフィルタから計算した自己相似行列(SSM)の助けを借りてCNNモデルプルーニングの問題に取り組む。出力に類似したアクティベーションマップに寄与する冗長フィルタのランク付けとプーン化のための2つの新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-11-03T13:47:44Z)
Finding Strong Gravitational Lenses Through Self-Attention [0.0]
本稿では,強い重力レンズを見つけるための自己アテンションの原理に基づく新しい自動アーキテクチャを提案する。ボローニャレンズチャレンジから重力レンズを識別するために,21個の自己注意型エンコーダモデルと4つの畳み込みニューラルネットワークを構築した。
論文参考訳（メタデータ） (2021-10-18T11:40:48Z)
Network Augmentation for Tiny Deep Learning [73.57192520534585]
ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。画像分類と物体検出におけるNetAugの有効性を示す。
論文参考訳（メタデータ） (2021-10-17T18:48:41Z)
ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文参考訳（メタデータ） (2021-05-07T11:39:05Z)
BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
論文参考訳（メタデータ） (2021-03-23T10:05:58Z)
Cryptanalytic Extraction of Neural Network Models [56.738871473622865]
遠隔モデルのパラメータを浮動小数点精度まで効率的に盗むことができる差動攻撃を導入する。我々の攻撃は、ReLUニューラルネットワークが一括線形関数であるという事実に依存している。 220倍の正確さと100倍のクエリを必要とするモデルを抽出する。
論文参考訳（メタデータ） (2020-03-10T17:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。