論文の概要: Learning Architectures from an Extended Search Space for Language Modeling

• arxiv url: http://arxiv.org/abs/2005.02593v2
• Date: Fri, 5 Jun 2020 06:23:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 04:39:47.725481
• Title: Learning Architectures from an Extended Search Space for Language Modeling
• Title（参考訳）: 言語モデリングのための拡張検索空間からの学習アーキテクチャ
• Authors: Yinqiao Li, Chi Hu, Yuhao Zhang, Nuo Xu, Yufan Jiang, Tong Xiao, Jingbo Zhu, Tongran Liu, Changliang Li
• Abstract要約: ニューラルアーキテクチャサーチ(NAS)のセル内アーキテクチャとセル間アーキテクチャの両方を学ぶための一般的なアプローチを提案する。 繰り返しのニューラルネットワークモデリングでは、TBとWikiTextのデータに対して強力なベースラインをはるかに上回り、TBに新たな最先端技術が導入された。 学習したアーキテクチャは、他のシステムに優れた転送可能性を示す。
• 参考スコア（独自算出の注目度）: 37.79977691127229
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) has advanced significantly in recent years but most NAS systems restrict search to learning architectures of a recurrent or convolutional cell. In this paper, we extend the search space of NAS. In particular, we present a general approach to learn both intra-cell and inter-cell architectures (call it ESS). For a better search result, we design a joint learning method to perform intra-cell and inter-cell NAS simultaneously. We implement our model in a differentiable architecture search system. For recurrent neural language modeling, it outperforms a strong baseline significantly on the PTB and WikiText data, with a new state-of-the-art on PTB. Moreover, the learned architectures show good transferability to other systems. E.g., they improve state-of-the-art systems on the CoNLL and WNUT named entity recognition (NER) tasks and CoNLL chunking task, indicating a promising line of research on large-scale pre-learned architectures.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は近年大きく進歩しているが、ほとんどのNASシステムは再帰的または畳み込み的なセルの学習アーキテクチャに探索を制限している。 本稿では,nasの探索空間を拡張する。 特に,細胞内アーキテクチャと細胞間アーキテクチャの両方を学ぶための一般的なアプローチを提案する(essと呼ぶ)。 そこで本研究では,細胞内nasと細胞間nasを同時に行う共同学習法を考案した。 我々は,異なるアーキテクチャ検索システムにモデルを実装した。 繰り返しのニューラルネットワークモデリングでは、TBとWikiTextのデータに対して強力なベースラインをはるかに上回り、TBに新たな最先端技術がある。 さらに、学習したアーキテクチャは、他のシステムに優れた転送性を示す。 例えば、彼らはCoNLLとWNUTのエンティティ認識(NER)タスクとCoNLLチャンクタスクの最先端システムを改善し、大規模な事前学習アーキテクチャの研究の有望なラインを示している。

関連論文リスト

• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
  眼球運動バイオメトリックスは、高い安全性の識別により注目されている。 深層学習(DL)モデルは近年,眼球運動認識に成功している。 DLアーキテクチャはまだ人間の事前知識によって決定されている。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• einspace: Searching for Neural Architectures from Fundamental Operations [28.346238250052455]
  本稿では,パラメータ化された確率的文脈自由文法に基づく検索空間であるeinspaceを紹介する。 競合アーキテクチャはゼロから検索することで得ることができ、強力なベースラインで検索を初期化する際には、常に大きな改善が得られます。
  論文  参考訳（メタデータ） (2024-05-31T14:25:45Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Towards Less Constrained Macro-Neural Architecture Search [2.685668802278155]
  ニューラルアーキテクチャサーチ(NAS)ネットワークは、様々なタスクで最先端のパフォーマンスを達成する。 ほとんどのNAS手法は、探索を制約する人間定義の仮定に大きく依存している。 我々は,LCMNASが最小のGPU計算でゼロから最先端アーキテクチャを生成することを示す実験を行った。
  論文  参考訳（メタデータ） (2022-03-10T17:53:03Z)
• Neural Architecture Search for Dense Prediction Tasks in Computer Vision [74.9839082859151]
  ディープラーニングは、ニューラルネットワークアーキテクチャエンジニアリングに対する需要の高まりにつながっている。 ニューラルネットワーク検索(NAS)は、手動ではなく、データ駆動方式でニューラルネットワークアーキテクチャを自動設計することを目的としている。 NASはコンピュータビジョンの幅広い問題に適用されている。
  論文  参考訳（メタデータ） (2022-02-15T08:06:50Z)
• Pretraining Neural Architecture Search Controllers with Locality-based Self-Supervised Learning [0.0]
  コントローラベースのNASに適用可能なプリトレーニング方式を提案する。 本手法は局所性に基づく自己教師付き分類タスクであり,ネットワークアーキテクチャの構造的類似性を活用し,優れたアーキテクチャ表現を得る。
  論文  参考訳（メタデータ） (2021-03-15T06:30:36Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)
• ModuleNet: Knowledge-inherited Neural Architecture Search [7.769061374951596]
  モデルにおけるどのような知識が、新しいアーキテクチャ設計に使えるのか、そして使うべきなのかについて議論する。 我々は,既存の畳み込みニューラルネットワークから知識を完全に継承できる新しいNASアルゴリズム,すなわちModuleNetを提案する。 我々の戦略は、畳み込み層の重みを調整しなくても、新しいアーキテクチャの性能を効率的に評価できる。
  論文  参考訳（メタデータ） (2020-04-10T13:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。