論文の概要: Evolving Character-Level DenseNet Architectures using Genetic
Programming
- arxiv url: http://arxiv.org/abs/2012.02327v1
- Date: Thu, 3 Dec 2020 23:28:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-23 15:06:00.261649
- Title: Evolving Character-Level DenseNet Architectures using Genetic
Programming
- Title(参考訳): 遺伝的プログラミングを用いた文字レベルDenseNetアーキテクチャの進化
- Authors: Trevor Londt, Xiaoying Gao, Peter Andreae
- Abstract要約: DenseNetアーキテクチャがテキスト分類タスクに最適であるかは不明だ。
進化的ディープラーニングは、画像分類領域のためのCNNアーキテクチャを自動設計するために使われてきた。
本研究は, テキスト分類タスクにおいて, EDL を用いて char-DenseNet アーキテクチャを進化させる最初の試みを示す。
- 参考スコア(独自算出の注目度): 1.5469452301122177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: DenseNet architectures have demonstrated impressive performance in image
classification tasks, but limited research has been conducted on using
character-level DenseNet (char-DenseNet) architectures for text classification
tasks. It is not clear what DenseNet architectures are optimal for text
classification tasks. The iterative task of designing, training and testing of
char-DenseNets is an NP-Hard problem that requires expert domain knowledge.
Evolutionary deep learning (EDL) has been used to automatically design CNN
architectures for the image classification domain, thereby mitigating the need
for expert domain knowledge. This study demonstrates the first work on using
EDL to evolve char-DenseNet architectures for text classification tasks. A
novel genetic programming-based algorithm (GP-Dense) coupled with an
indirect-encoding scheme, facilitates the evolution of performant char DenseNet
architectures. The algorithm is evaluated on two popular text datasets, and the
best-evolved models are benchmarked against four current state-of-the-art
character-level CNN and DenseNet models. Results indicate that the algorithm
evolves performant models for both datasets that outperform two of the
state-of-the-art models in terms of model accuracy and three of the
state-of-the-art models in terms of parameter size.
- Abstract(参考訳): DenseNetアーキテクチャは画像分類タスクにおいて顕著な性能を示しているが、文字レベルのDenseNet(char-DenseNet)アーキテクチャをテキスト分類タスクに使用するための限定的な研究がなされている。
DenseNetアーキテクチャがテキスト分類タスクに最適であるかは不明だ。
char-DenseNetsの設計、トレーニング、テストの反復的なタスクは、専門家のドメイン知識を必要とするNP-Hard問題である。
進化的ディープラーニング(EDL)は、画像分類領域のCNNアーキテクチャを自動設計するために使われ、専門家のドメイン知識の必要性を軽減している。
本研究は, テキスト分類タスクにおいて, EDL を用いて char-DenseNet アーキテクチャを進化させる最初の試みを示す。
遺伝的プログラミングに基づく新しいアルゴリズム (GP-Dense) と間接エンコード方式を組み合わせることで、高性能なChar DenseNetアーキテクチャの進化を促進する。
このアルゴリズムは2つの一般的なテキストデータセットで評価され、最も進化したモデルは現在の4つのキャラクタレベルCNNとDenseNetモデルに対してベンチマークされる。
このアルゴリズムは、モデル精度で最先端モデルの2つ、パラメータサイズで最先端モデルの3つを上回り、両方のデータセットのパフォーマンスモデルを進化させることを示す。
関連論文リスト
- Set-based Neural Network Encoding [57.15855198512551]
一般化性能予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークの一般化性能予測には,クロスデータセットとクロスアーキテクチャという2つの新しいタスクを導入する。
論文 参考訳(メタデータ) (2023-05-26T04:34:28Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳(メタデータ) (2022-10-14T18:00:07Z) - FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。
実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文 参考訳(メタデータ) (2022-07-04T09:05:25Z) - Comparison Analysis of Traditional Machine Learning and Deep Learning
Techniques for Data and Image Classification [62.997667081978825]
本研究の目的は、コンピュータビジョン2次元オブジェクト分類タスクに使用される最も一般的な機械学習およびディープラーニング技術を分析し比較することである。
まず、視覚語モデルと深部畳み込みニューラルネットワーク(DCNN)の理論的背景を示す。
次に、Bag of Visual Wordsモデル、VGG16 CNN Architectureを実装します。
論文 参考訳(メタデータ) (2022-04-11T11:34:43Z) - SuperNet in Neural Architecture Search: A Taxonomic Survey [14.037182039950505]
このサーベイは、ウェイトシェアリングを使用して、すべてのアーキテクチャをサブモデルとして組み立てるニューラルネットワークを構築するスーパーネット最適化に焦点を当てている。
データ側最適化、低ランク相関緩和、多数のデプロイメントシナリオに対するトランスファー可能なNASなどです。
論文 参考訳(メタデータ) (2022-04-08T08:29:52Z) - Learning Interpretable Models Through Multi-Objective Neural
Architecture Search [0.9990687944474739]
本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。
タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
論文 参考訳(メタデータ) (2021-12-16T05:50:55Z) - Neural Architecture Search based on Cartesian Genetic Programming Coding
Method [6.519170476143571]
文分類課題を解決するために,CGPに基づくNASの進化的アプローチであるCGPNASを提案する。
実験の結果,検索されたアーキテクチャは人間設計アーキテクチャの性能に匹敵することがわかった。
論文 参考訳(メタデータ) (2021-03-12T09:51:03Z) - Evolving Character-level Convolutional Neural Networks for Text
Classification [2.996556029831847]
文字レベルの畳み込みニューラルネットワーク(char-CNN)は、それらが分類する言語のセマンティック構造や構文構造に関する知識を必要としない。
テキスト分類作業に最適なChar-CNNアーキテクチャは確立されていない。
本稿では、遺伝的プログラミングに基づく新しいEDLアルゴリズムを用いて、シャル・CNNアーキテクチャの進化における最初の成果を示す。
論文 参考訳(メタデータ) (2020-12-03T19:27:29Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳(メタデータ) (2020-05-14T09:02:33Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳(メタデータ) (2020-05-13T13:25:51Z) - Inferring Convolutional Neural Networks' accuracies from their
architectural characterizations [0.0]
CNNのアーキテクチャと性能の関係について検討する。
本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。
我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
論文 参考訳(メタデータ) (2020-01-07T16:41:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。