Fugu-MT 論文翻訳(概要): Full-attention based Neural Architecture Search using Context Auto-regression

論文の概要: Full-attention based Neural Architecture Search using Context Auto-regression

arxiv url: http://arxiv.org/abs/2111.07139v1
Date: Sat, 13 Nov 2021 16:07:37 GMT
ステータス: 処理完了
システム内更新日: 2021-11-16 14:33:53.328546
Title: Full-attention based Neural Architecture Search using Context Auto-regression
Title（参考訳）: コンテキスト自己回帰を用いたフルアテンションに基づくニューラルアーキテクチャ探索
Authors: Yuan Zhou, Haiyang Wang, Shuwei Huo and Boyu Wang
Abstract要約: 注意ネットワークを検索するためのフルアテンションに基づくNAS手法を提案する。ネットワークの異なる層に様々な注意操作を適用できるステージワイド検索空間を構築する。コンテキスト自動回帰を用いた自己教師付き検索アルゴリズムが提案されている。
参考スコア（独自算出の注目度）: 18.106878746065536
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-attention architectures have emerged as a recent advancement for improving the performance of vision tasks. Manual determination of the architecture for self-attention networks relies on the experience of experts and cannot automatically adapt to various scenarios. Meanwhile, neural architecture search (NAS) has significantly advanced the automatic design of neural architectures. Thus, it is appropriate to consider using NAS methods to discover a better self-attention architecture automatically. However, it is challenging to directly use existing NAS methods to search attention networks because of the uniform cell-based search space and the lack of long-term content dependencies. To address this issue, we propose a full-attention based NAS method. More specifically, a stage-wise search space is constructed that allows various attention operations to be adopted for different layers of a network. To extract global features, a self-supervised search algorithm is proposed that uses context auto-regression to discover the full-attention architecture. To verify the efficacy of the proposed methods, we conducted extensive experiments on various learning tasks, including image classification, fine-grained image recognition, and zero-shot image retrieval. The empirical results show strong evidence that our method is capable of discovering high-performance, full-attention architectures while guaranteeing the required search efficiency.
Abstract（参考訳）: 視覚タスクの性能向上に向けた最近の進歩として,自己注意型アーキテクチャが出現している。自己注意型ネットワークのためのアーキテクチャのマニュアル決定は専門家の経験に依存しており、様々なシナリオに自動的に適応することはできない。一方、neural architecture search (nas) は、ニューラルネットワークの自動設計を大幅に進歩させた。したがって、NAS手法を用いて、より優れた自己注意アーキテクチャを自動的に発見することが適切である。しかし,一様セル型検索空間と長期的コンテンツ依存の欠如から,既存のnas手法をアテンションネットワークの検索に直接使用することは困難である。この問題に対処するため,本研究では,フルアテンションに基づくNAS手法を提案する。より具体的には、ネットワークの異なる層に様々な注意操作を適用できるステージワイド検索空間が構築されている。グローバルな特徴を抽出するために,コンテキスト自動回帰を用いた自己教師付き検索アルゴリズムを提案する。提案手法の有効性を検証するため,画像分類,きめ細かい画像認識,ゼロショット画像検索など,様々な学習課題について広範な実験を行った。実験結果から,本手法が要求された探索効率を保証しつつ,高性能でフルアテンションなアーキテクチャを発見できることを示す。

関連論文リスト

EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
眼球運動バイオメトリックスは、高い安全性の識別により注目されている。深層学習(DL)モデルは近年,眼球運動認識に成功している。 DLアーキテクチャはまだ人間の事前知識によって決定されている。眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
論文参考訳（メタデータ） (2024-09-22T13:11:08Z)
Masked Autoencoders Are Robust Neural Architecture Search Learners [14.965550562292476]
本研究では,Masked Autoencoders (MAE) に基づく新しいNASフレームワークを提案する。教師あり学習対象を画像再構成タスクに置き換えることで,ネットワークアーキテクチャの堅牢な発見を可能にする。
論文参考訳（メタデータ） (2023-11-20T13:45:21Z)
Surrogate-assisted Multi-objective Neural Architecture Search for Real-time Semantic Segmentation [11.866947846619064]
ニューラルアーキテクチャサーチ(NAS)は、アーキテクチャ設計を自動化するための有望な道として登場した。セマンティックセグメンテーションにNASを適用する際の課題を解決するために,サロゲート支援多目的手法を提案する。提案手法は,人手による設計と他のNAS手法による自動設計の両方により,既存の最先端アーキテクチャを著しく上回るアーキテクチャを同定することができる。
論文参考訳（メタデータ） (2022-08-14T10:18:51Z)
Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification [15.641353388251465]
微分可能なニューラルネットワークサーチ(NAS)は、検索コストを単一のネットワークをトレーニングするレベルに削減することで大きな影響を与える。本稿では,探索範囲を導入することで,探索空間の適応スキームを提案する。画像分類タスクにおいて, ProxylessNAS を用いて提案手法の有効性を示す。
論文参考訳（メタデータ） (2022-06-05T05:27:12Z)
Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。 NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
論文参考訳（メタデータ） (2022-03-31T10:16:10Z)
Accelerating Neural Architecture Exploration Across Modalities Using Genetic Algorithms [5.620334754517149]
多目的アーキテクチャ探索を加速するために, 遺伝的アルゴリズムと軽量に訓練された客観予測器を反復サイクルで組み合わせる方法を示す。 NASの研究はコンピュータビジョンのタスクを中心に行われており、最近になって自然言語処理の急速な発展など他のモダリティも深く研究されている。
論文参考訳（メタデータ） (2022-02-25T20:01:36Z)
Poisoning the Search Space in Neural Architecture Search [0.0]
我々は,探索空間におけるデータ中毒攻撃に対して,効率的なNASと呼ばれるアルゴリズムのロバスト性を評価する。以上の結果から,NASを用いたアーキテクチャ探索の課題に対する洞察が得られた。
論文参考訳（メタデータ） (2021-06-28T05:45:57Z)
MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文参考訳（メタデータ） (2020-09-29T11:56:01Z)
NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
論文参考訳（メタデータ） (2020-08-26T17:59:36Z)
CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
論文参考訳（メタデータ） (2020-07-18T09:35:53Z)
AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning [72.99415402575886]
外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
論文参考訳（メタデータ） (2020-06-19T18:57:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。