論文の概要: CATE: Computation-aware Neural Architecture Encoding with Transformers
- arxiv url: http://arxiv.org/abs/2102.07108v1
- Date: Sun, 14 Feb 2021 08:56:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-17 00:42:20.534515
- Title: CATE: Computation-aware Neural Architecture Encoding with Transformers
- Title（参考訳）: CATE: トランスフォーマーを用いた計算対応ニューラルアーキテクチャエンコーディング
- Authors: Shen Yan, Kaiqiang Song, Fei Liu, Mi Zhang
- Abstract要約: ニューラルアーキテクチャサーチ(NAS)におけるアーキテクチャエンコーディングの重要性を示す最近の研究
計算アウェアは、同じ領域に類似した精度でマップアーキテクチャを符号化し、下流アーキテクチャの検索性能を向上させる。
本研究では,計算対応変換器を提案する。
CATEという変換法。
- 参考スコア（独自算出の注目度）: 14.245023973332783
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent works (White et al., 2020a; Yan et al., 2020) demonstrate the
importance of architecture encodings in Neural Architecture Search (NAS). These
encodings encode either structure or computation information of the neural
architectures. Compared to structure-aware encodings, computation-aware
encodings map architectures with similar accuracies to the same region, which
improves the downstream architecture search performance (Zhang et al., 2019;
White et al., 2020a). In this work, we introduce a Computation-Aware
Transformer-based Encoding method called CATE. Different from existing
computation-aware encodings based on fixed transformation (e.g. path encoding),
CATE employs a pairwise pre-training scheme to learn computation-aware
encodings using Transformers with cross-attention. Such learned encodings
contain dense and contextualized computation information of neural
architectures. We compare CATE with eleven encodings under three major
encoding-dependent NAS subroutines in both small and large search spaces. Our
experiments show that CATE is beneficial to the downstream search, especially
in the large search space. Moreover, the outside search space experiment shows
its superior generalization ability beyond the search space on which it was
trained.
- Abstract（参考訳）: 最近の研究(White et al., 2020a; Yan et al., 2020)は、ニューラルアーキテクチャ検索(NAS)におけるアーキテクチャエンコーディングの重要性を示している。
これらのエンコーディングは、神経アーキテクチャの構造情報または計算情報をエンコードする。
構造対応エンコーディングと比較して、計算対応エンコーディングは、同じ領域に類似した精度でマップアーキテクチャをマッピングし、下流アーキテクチャの検索性能を改善する(Zhang et al., 2019; White et al., 2020a)。
本研究では,CATE(Computation-Aware Transformer-based Encoding)法を提案する。
固定変換に基づく既存の計算アウェアエンコーディングと異なる(例えば)。
パスエンコーディング)、CATEは、クロスアテンションを備えたトランスフォーマーを使用して計算認識エンコーディングを学習するためにペアワイズプリトレーニングスキームを採用しています。
このような学習されたエンコーディングは、ニューラルネットワークアーキテクチャの密でコンテキスト化された計算情報を含んでいる。
3つの主要なエンコーディング依存NASサブルーチンの下で、CATEと11のエンコーディングを比較します。
実験により,CATEは下流検索,特に大規模検索空間において有用であることが確認された。
さらに, 外部探索空間実験は, トレーニング対象の探索空間を超えて, より優れた一般化能力を示す。
関連論文リスト
- Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。
しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。
本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
論文 参考訳（メタデータ） (2024-05-24T04:35:13Z) - Encodings for Prediction-based Neural Architecture Search [8.564763702766776]
予測に基づく手法は、ニューラルネットワーク探索(NAS)の最適化を大幅に強化した。
従来のエンコーディングでは、ニューラルネットワークのグラフ構造を記述する隣接行列を使用していた。
我々は、構造、学習、スコアベースという3つの主要なタイプのニューラルエンコーディングを分類し、調査する。
textbfFlow textbfAttention for textbfNAS。
論文 参考訳（メタデータ） (2024-03-04T21:05:52Z) - Computationally-Efficient Neural Image Compression with Shallow Decoders [43.115831685920114]
本稿では,JPEGに類似した浅い,あるいは線形な復号変換を用いることで,復号化複雑性のギャップを解消する。
我々は、より強力なエンコーダネットワークと反復符号化を採用することにより、符号化と復号の間のしばしば非対称な予算を利用する。
論文 参考訳（メタデータ） (2023-04-13T03:38:56Z) - Does Configuration Encoding Matter in Learning Software Performance? An
Empirical Study on Encoding Schemes [5.781900408390438]
この研究は、5つのシステム、7つのモデル、3つの符号化スキームをカバーし、105件の調査に繋がった。
ソフトウェアのパフォーマンス学習において広く使われている符号化方式,すなわちラベル,スケールラベル,ワンホット符号化を実証的に比較した。
その結果,(1)ケースで最高の符号化方式を見つけるための試行錯誤は,いくつかのモデルやシステムで最大400時間以上の時間を要する場合が多いこと,(2)スケールされたラベル符号化が異なるモデルよりも精度が低い場合,(2)スケールされたラベル符号化は一般的に最も正確な結果をもたらすこと,(3)逆に,スケールされたラベル符号化は高い傾向にあることがわかった。
論文 参考訳（メタデータ） (2022-03-30T01:46:27Z) - Rate Coding or Direct Coding: Which One is Better for Accurate, Robust,
and Energy-efficient Spiking Neural Networks? [4.872468969809081]
スパイキングニューラルネットワーク(SNN)は画像分類タスクに重点を置いているため、画像を時間的バイナリスパイクに変換するための様々なコーディング技術が提案されている。
これらのうち、レートコーディングとダイレクトコーディングは、実用的なSNNシステムを構築するための候補として期待されている。
我々は3つの視点から2つの符号化を包括的に分析する。
論文 参考訳（メタデータ） (2022-01-31T16:18:07Z) - COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。
様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-01-30T20:12:04Z) - KO codes: Inventing Nonlinear Encoding and Decoding for Reliable
Wireless Communication via Deep-learning [76.5589486928387]
ランドマークコードは、Reed-Muller、BCH、Convolution、Turbo、LDPC、Polarといった信頼性の高い物理層通信を支える。
本論文では、ディープラーニング駆動型(エンコーダ、デコーダ)ペアの計算効率の良いファミリーであるKO符号を構築する。
KO符号は最先端のリード・ミュラー符号と極符号を破り、低複雑さの逐次復号法で復号された。
論文 参考訳（メタデータ） (2021-08-29T21:08:30Z) - Instantaneous Grammatical Error Correction with Shallow Aggressive
Decoding [57.08875260900373]
即時文法的誤り訂正(GEC)のためのトランスフォーマーのオンライン推論効率を改善するために,Shallow Aggressive Decoding (SAD)を提案する。
SADは、計算並列性を改善するために、各ステップで1つのトークンだけを復号するのではなく、可能な限り多くのトークンを並列に復号する。
英語と中国語のGECベンチマークでの実験では、アグレッシブな復号化がオンライン推論の大幅なスピードアップをもたらす可能性がある。
論文 参考訳（メタデータ） (2021-06-09T10:30:59Z) - COSEA: Convolutional Code Search with Layer-wise Attention [90.35777733464354]
我々は、畳み込みニューラルネットワークを階層的注意で活用し、コード固有の構造論理をキャプチャする新しいディープラーニングアーキテクチャ、COSEAを提案する。
COSEAは、コード検索タスクの最先端メソッドよりも大幅に改善できる。
論文 参考訳（メタデータ） (2020-10-19T13:53:38Z) - ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse
Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。
実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。
本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-13T04:34:24Z) - A Study on Encodings for Neural Architecture Search [25.598649405721414]
一般的なアプローチは、探索空間における各ニューラルネットワークを有向非巡回グラフ(DAG)として表現することである。
最近の研究は、各アーキテクチャのエンコード方法の小さな変更でさえ、NASアルゴリズムのパフォーマンスに大きな影響を及ぼすことを示した。
本研究は,NASにおけるアーキテクチャエンコーディングの効果に関する最初の公式な研究であり,理論的根拠と実証的研究を含む。
論文 参考訳（メタデータ） (2020-07-09T17:52:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。