論文の概要: Evolving Character-Level DenseNet Architectures using Genetic
Programming
- arxiv url: http://arxiv.org/abs/2012.02327v1
- Date: Thu, 3 Dec 2020 23:28:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-23 15:06:00.261649
- Title: Evolving Character-Level DenseNet Architectures using Genetic
Programming
- Title（参考訳）: 遺伝的プログラミングを用いた文字レベルDenseNetアーキテクチャの進化
- Authors: Trevor Londt, Xiaoying Gao, Peter Andreae
- Abstract要約: DenseNetアーキテクチャがテキスト分類タスクに最適であるかは不明だ。
進化的ディープラーニングは、画像分類領域のためのCNNアーキテクチャを自動設計するために使われてきた。
本研究は, テキスト分類タスクにおいて, EDL を用いて char-DenseNet アーキテクチャを進化させる最初の試みを示す。
- 参考スコア（独自算出の注目度）: 1.5469452301122177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: DenseNet architectures have demonstrated impressive performance in image
classification tasks, but limited research has been conducted on using
character-level DenseNet (char-DenseNet) architectures for text classification
tasks. It is not clear what DenseNet architectures are optimal for text
classification tasks. The iterative task of designing, training and testing of
char-DenseNets is an NP-Hard problem that requires expert domain knowledge.
Evolutionary deep learning (EDL) has been used to automatically design CNN
architectures for the image classification domain, thereby mitigating the need
for expert domain knowledge. This study demonstrates the first work on using
EDL to evolve char-DenseNet architectures for text classification tasks. A
novel genetic programming-based algorithm (GP-Dense) coupled with an
indirect-encoding scheme, facilitates the evolution of performant char DenseNet
architectures. The algorithm is evaluated on two popular text datasets, and the
best-evolved models are benchmarked against four current state-of-the-art
character-level CNN and DenseNet models. Results indicate that the algorithm
evolves performant models for both datasets that outperform two of the
state-of-the-art models in terms of model accuracy and three of the
state-of-the-art models in terms of parameter size.
- Abstract（参考訳）: DenseNetアーキテクチャは画像分類タスクにおいて顕著な性能を示しているが、文字レベルのDenseNet(char-DenseNet)アーキテクチャをテキスト分類タスクに使用するための限定的な研究がなされている。
DenseNetアーキテクチャがテキスト分類タスクに最適であるかは不明だ。
char-DenseNetsの設計、トレーニング、テストの反復的なタスクは、専門家のドメイン知識を必要とするNP-Hard問題である。
進化的ディープラーニング(EDL)は、画像分類領域のCNNアーキテクチャを自動設計するために使われ、専門家のドメイン知識の必要性を軽減している。
本研究は, テキスト分類タスクにおいて, EDL を用いて char-DenseNet アーキテクチャを進化させる最初の試みを示す。
遺伝的プログラミングに基づく新しいアルゴリズム (GP-Dense) と間接エンコード方式を組み合わせることで、高性能なChar DenseNetアーキテクチャの進化を促進する。
このアルゴリズムは2つの一般的なテキストデータセットで評価され、最も進化したモデルは現在の4つのキャラクタレベルCNNとDenseNetモデルに対してベンチマークされる。
このアルゴリズムは、モデル精度で最先端モデルの2つ、パラメータサイズで最先端モデルの3つを上回り、両方のデータセットのパフォーマンスモデルを進化させることを示す。
関連論文リスト
- Knowledge-aware Evolutionary Graph Neural Architecture Search [49.13787973318586]
グラフニューラルネットワーク検索(GNAS)は、特定のグラフタスクやデータセットに対して、高性能なグラフニューラルネットワークアーキテクチャをカスタマイズすることができる。
既存のGNAS手法は、探索効率を向上させる可能性のある事前知識を無視して、ゼロ知識状態からアーキテクチャを探し始める。
本研究では,新しいグラフデータセット上での多目的進化探索を高速化するために,そのような先行知識を活用することを提案する。
論文 参考訳（メタデータ） (2024-11-26T11:32:45Z) - Adaptable Embeddings Network (AEN) [49.1574468325115]
我々はカーネル密度推定(KDE)を用いた新しいデュアルエンコーダアーキテクチャであるAdaptable Embeddings Networks (AEN)を紹介する。
AENは、再トレーニングせずに分類基準のランタイム適応を可能にし、非自己回帰的である。
アーキテクチャのプリプロセスとキャッシュ条件の埋め込み能力は、エッジコンピューティングアプリケーションやリアルタイム監視システムに最適である。
論文 参考訳（メタデータ） (2024-11-21T02:15:52Z) - Revisiting N-Gram Models: Their Impact in Modern Neural Networks for Handwritten Text Recognition [4.059708117119894]
本研究は,言語モデル,特にn-gramモデルが,手書き認識の分野における最先端のディープラーニングアーキテクチャの性能に引き続き寄与するかどうかを論じる。
我々は、明示的なn-gram言語モデルを統合することなく、2つの著名なニューラルネットワークアーキテクチャ、PyLaiaとDANを評価した。
その結果,文字やサブワードの n-gram モデルの導入は,すべてのデータセット上での ATR モデルの性能を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2024-04-30T07:37:48Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。
実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文 参考訳（メタデータ） (2022-07-04T09:05:25Z) - Learning Interpretable Models Through Multi-Objective Neural
Architecture Search [0.9990687944474739]
本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。
タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
論文 参考訳（メタデータ） (2021-12-16T05:50:55Z) - Neural Architecture Search based on Cartesian Genetic Programming Coding
Method [6.519170476143571]
文分類課題を解決するために,CGPに基づくNASの進化的アプローチであるCGPNASを提案する。
実験の結果,検索されたアーキテクチャは人間設計アーキテクチャの性能に匹敵することがわかった。
論文 参考訳（メタデータ） (2021-03-12T09:51:03Z) - Evolving Character-level Convolutional Neural Networks for Text
Classification [2.996556029831847]
文字レベルの畳み込みニューラルネットワーク(char-CNN)は、それらが分類する言語のセマンティック構造や構文構造に関する知識を必要としない。
テキスト分類作業に最適なChar-CNNアーキテクチャは確立されていない。
本稿では、遺伝的プログラミングに基づく新しいEDLアルゴリズムを用いて、シャル・CNNアーキテクチャの進化における最初の成果を示す。
論文 参考訳（メタデータ） (2020-12-03T19:27:29Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z) - Inferring Convolutional Neural Networks' accuracies from their
architectural characterizations [0.0]
CNNのアーキテクチャと性能の関係について検討する。
本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。
我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
論文 参考訳（メタデータ） (2020-01-07T16:41:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。