論文の概要: Evaluating the Effectiveness of Efficient Neural Architecture Search for Sentence-Pair Tasks

• arxiv url: http://arxiv.org/abs/2010.04249v1
• Date: Thu, 8 Oct 2020 20:26:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 12:15:30.419940
• Title: Evaluating the Effectiveness of Efficient Neural Architecture Search for Sentence-Pair Tasks
• Title（参考訳）: 文章ペア課題に対する効率的なニューラルアーキテクチャ探索の有効性評価
• Authors: Ansel MacLaughlin, Jwala Dhamala, Anoop Kumar, Sriram Venkatapathy, Ragav Venkatesan, Rahul Gupta
• Abstract要約: ニューラルアーキテクチャサーチ(NAS)手法は、最近、様々な自然言語処理やコンピュータビジョンタスクにおいて、競争または最先端(SOTA)のパフォーマンスを達成した。 本研究では,SOTANASアルゴリズム(Efficient Neural Architecture Search, ENAS)の2つの文対タスクへの適用性について検討する。
• 参考スコア（独自算出の注目度）: 14.963150544536203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) methods, which automatically learn entire neural model or individual neural cell architectures, have recently achieved competitive or state-of-the-art (SOTA) performance on variety of natural language processing and computer vision tasks, including language modeling, natural language inference, and image classification. In this work, we explore the applicability of a SOTA NAS algorithm, Efficient Neural Architecture Search (ENAS) (Pham et al., 2018) to two sentence pair tasks, paraphrase detection and semantic textual similarity. We use ENAS to perform a micro-level search and learn a task-optimized RNN cell architecture as a drop-in replacement for an LSTM. We explore the effectiveness of ENAS through experiments on three datasets (MRPC, SICK, STS-B), with two different models (ESIM, BiLSTM-Max), and two sets of embeddings (Glove, BERT). In contrast to prior work applying ENAS to NLP tasks, our results are mixed -- we find that ENAS architectures sometimes, but not always, outperform LSTMs and perform similarly to random architecture search.
• Abstract（参考訳）: ニューラル・アーキテクチャ・サーチ(NAS)手法は、最近、言語モデリング、自然言語推論、画像分類を含む様々な自然言語処理やコンピュータビジョンタスクにおいて、競争力または最先端(SOTA)のパフォーマンスを達成した。 本研究では,SOTAのNASアルゴリズムであるENAS(Efficient Neural Architecture Search, Pham et al., 2018)をパラフレーズ検出と意味的テキスト類似性という2つの文対タスクに適用可能であるかを検討する。 ENASを用いてマイクロレベル検索を行い,タスク最適化されたRNNセルアーキテクチャをLSTMのドロップイン置換として学習する。 我々は,3つのデータセット(MRPC,SICK,STS-B),2つのモデル(ESIM,BiLSTM-Max),2つの組の埋め込み(Glove,BERT)によるENASの有効性について検討した。 NLP タスクに ENAS を適用する以前の作業とは対照的に,私たちの結果は多岐にわたる – ENAS アーキテクチャが LSTM を上回り,ランダムなアーキテクチャ検索と同じような動作を行う場合もあります。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• L$^{2}$NAS: Learning to Optimize Neural Architectures via Continuous-Action Reinforcement Learning [23.25155249879658]
  微分可能なアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク設計において顕著な結果を得た。 L$2$は,DART201ベンチマークやNASS,Imse-for-All検索ポリシで,最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-25T19:26:30Z)
• Going Beyond Neural Architecture Search with Sampling-based Neural Ensemble Search [31.059040393415003]
  本稿では,Nurural Ensemble Search via Smpling (NESS) フレームワークに基づく2つの新しいサンプリングアルゴリズムを提案する。 我々のNESSアルゴリズムは、分類タスクと対角防御タスクの両方において改善された性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-09-06T15:18:37Z)
• Generic Neural Architecture Search via Regression [27.78105839644199]
  我々は、ジェネリックNAS(GenNAS)と呼ばれる新規で汎用的なニューラルアーキテクチャサーチ(NAS)フレームワークを提案する。 GenNASはタスク固有のラベルを使用せず、代わりに、アーキテクチャ評価のために手動で設計された合成信号基盤のセットにtextitregressionを採用する。 次に,下流タスク固有のラベルを用いた合成信号の組み合わせを最適化するタスクの自動探索を提案する。
  論文  参考訳（メタデータ） (2021-08-04T08:21:12Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• BiX-NAS: Searching Efficient Bi-directional Architecture for Medical Image Segmentation [85.0444711725392]
  本稿では,双方向スキップ接続ネットワークのマルチスケールアップグレードについて検討し,新しい2相ニューラルアーキテクチャ探索 (NAS) アルゴリズム,すなわちBiX-NASを用いて,効率的なアーキテクチャを自動検出する。 提案手法は、異なるレベルとイテレーションで非効率なマルチスケール特徴を排除し、ネットワーク計算コストを削減する。 3つの異なる医用画像データセットを用いて2つのセグメンテーションタスクにおけるBiX-NASの評価を行い、実験結果から、Bix-NAS探索アーキテクチャが計算コストを大幅に削減して最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2021-06-26T14:33:04Z)
• A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
  我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。 その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
  論文  参考訳（メタデータ） (2020-12-03T08:32:01Z)
• Neural Architecture Search of SPD Manifold Networks [79.45110063435617]
  本研究では,Symmetric Positive Definite (SPD) 多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。 まず、効率的なSPDセル設計のために、幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。 我々は、SPDニューラルアーキテクチャ探索のための緩和された連続探索空間上で微分可能なNASアルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-10-27T18:08:57Z)
• NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language Processing [12.02718579660613]
  我々は自然言語処理(NLP)の中核である言語モデリングタスクを活用することで、コンピュータビジョン領域の外部へ踏み出す。 テキストデータセット上にリカレントニューラルネットワークの検索スペースを提供し、その内部に14kのアーキテクチャをトレーニングしました。 我々は,意味的関連性および言語理解評価のためのデータセットを用いて,訓練されたモデルの内在的および外在的評価を行った。
  論文  参考訳（メタデータ） (2020-06-12T12:19:06Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。