論文の概要: Attention-based Neural Cellular Automata
- arxiv url: http://arxiv.org/abs/2211.01233v1
- Date: Wed, 2 Nov 2022 16:14:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-03 12:10:01.494553
- Title: Attention-based Neural Cellular Automata
- Title(参考訳): 注意に基づく神経細胞オートマトン
- Authors: Mattie Tesfaldet, Derek Nowrouzezahrai, Christopher Pal
- Abstract要約: 近年のCellular Automata(CA)の拡張は深層学習技術から重要なアイデアを取り入れている。
そこで我々は,細胞状態のNAA表現に基づくトランスフォーマーベースのCattext Transformer (NCA) の新たなクラスを提案する。
我々は、ViTCAを類似アーキテクチャと比較し、U-NetCAベースラインと比較して優れた結果を得る。
- 参考スコア(独自算出の注目度): 16.244338670837838
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent extensions of Cellular Automata (CA) have incorporated key ideas from
modern deep learning, dramatically extending their capabilities and catalyzing
a new family of Neural Cellular Automata (NCA) techniques. Inspired by
Transformer-based architectures, our work presents a new class of
$\textit{attention-based}$ NCAs formed using a spatially
localized$\unicode{x2014}$yet globally organized$\unicode{x2014}$self-attention
scheme. We introduce an instance of this class named $\textit{Vision
Transformer Cellular Automata}$ (ViTCA). We present quantitative and
qualitative results on denoising autoencoding across six benchmark datasets,
comparing ViTCA to a U-Net, a U-Net-based CA baseline (UNetCA), and a Vision
Transformer (ViT). When comparing across architectures configured to similar
parameter complexity, ViTCA architectures yield superior performance across all
benchmarks and for nearly every evaluation metric. We present an ablation study
on various architectural configurations of ViTCA, an analysis of its effect on
cell states, and an investigation on its inductive biases. Finally, we examine
its learned representations via linear probes on its converged cell state
hidden representations, yielding, on average, superior results when compared to
our U-Net, ViT, and UNetCA baselines.
- Abstract(参考訳): 最近のセルラーオートマタ(CA)の拡張は、現代のディープラーニングから重要なアイデアを取り入れ、その能力を劇的に拡張し、ニューラルセルラーオートマタ(NCA)技術の新たなファミリーを触媒している。
トランスフォーマティブなアーキテクチャに着想を得た本研究では,空間的に局所化された$\unicode{x2014}$yet を用いた$\textit{attention-based}$ ncas の新たなクラスを提案する。
以下は、このクラスの例である $\textit{Vision Transformer Cellular Automata}$ (ViTCA)を紹介する。
本稿では、VTCAをU-Net、U-NetベースのCAベースライン(UNetCA)、ビジョントランスフォーマー(ViT)と比較し、6つのベンチマークデータセットにおける自動エンコーディングの定量的および定性的な結果を示す。
類似したパラメータの複雑さで構成されたアーキテクチャを比較すると、vitcaアーキテクチャはすべてのベンチマークおよびほぼすべての評価基準において優れたパフォーマンスをもたらす。
本稿では、ViTCAの様々な構造構造に関するアブレーション研究、その細胞状態への影響の解析、誘導バイアスに関する研究について述べる。
最後に, 収束セル状態隠蔽表現に対する線形プローブによる学習表現について検討し, 平均値, 平均値, U-Net, ViT, UNetCAベースラインと比較して, 優れた結果を得た。
関連論文リスト
- ACC-ViT : Atrous Convolution's Comeback in Vision Transformers [5.224344210588584]
我々は,地域情報とグローバル情報の両方を適応的に統合できる,地域的・疎外的な注意の融合であるAtrous Attentionを紹介した。
また、標準的な視覚タスクの慣行に従って、ACC-ViTと呼ばれる一般的な視覚変換器のバックボーンを提案する。
そのためACC-ViTは強力なビジョンバックボーンであり、小さなデータセットを持つニッチアプリケーションには理想的だ。
論文 参考訳(メタデータ) (2024-03-07T04:05:16Z) - UniCell: Universal Cell Nucleus Classification via Prompt Learning [76.11864242047074]
ユニバーサル細胞核分類フレームワーク(UniCell)を提案する。
異なるデータセットドメインから対応する病理画像のカテゴリを均一に予測するために、新しいプロンプト学習機構を採用している。
特に,本フレームワークでは,原子核検出と分類のためのエンドツーエンドアーキテクチャを採用し,フレキシブルな予測ヘッドを用いて様々なデータセットを適応する。
論文 参考訳(メタデータ) (2024-02-20T11:50:27Z) - Subcellular Protein Localisation in the Human Protein Atlas using
Ensembles of Diverse Deep Architectures [11.41081495236219]
細胞内タンパク質の視覚的局在の自動化は、健康と病気における細胞機能の理解を加速させる。
i)細胞アノテーションの品質の自動改善、(ii)不均衡でノイズの多いデータをサポートする新しい畳み込みニューラルネットワーク(CNN)アーキテクチャ、(iii)多種多様な機械学習モデルの選択と融合という3つの重要な側面に対処することで、このギャップを狭めることができることを示す。
論文 参考訳(メタデータ) (2022-05-19T20:28:56Z) - Do Vision Transformers See Like Convolutional Neural Networks? [45.69780772718875]
近年の研究では、画像分類タスクにおいて、(Vision) Transformer Model (ViT) が同等またはそれ以上の性能を達成できることが示されている。
畳み込みネットワークのように振る舞うのか、それとも全く異なる視覚表現を学ぶのか?
例えば、ViTはすべての層にわたってより均一な表現を持つ。
論文 参考訳(メタデータ) (2021-08-19T17:27:03Z) - Vision Transformer Architecture Search [64.73920718915282]
現在の視覚変換器(ViT)は、自然言語処理(NLP)タスクから単純に継承される。
ハードウェア予算に類似した最適アーキテクチャを探索するために,ViTASと呼ばれるアーキテクチャ探索手法を提案する。
検索したアーキテクチャは、ImageNetで74.7%の精度で、現在のベースラインのViTアーキテクチャよりも2.5%高い。
論文 参考訳(メタデータ) (2021-06-25T15:39:08Z) - Vision Transformers are Robust Learners [65.91359312429147]
ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。
ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
論文 参考訳(メタデータ) (2021-05-17T02:39:22Z) - Learning to Generate Content-Aware Dynamic Detectors [62.74209921174237]
サンプル適応型モデルアーキテクチャを自動的に生成する効率的な検出器の設計を新たに導入する。
動的ルーティングの学習を導くために、オブジェクト検出に適したコースツーファインの成層図を紹介します。
MS-COCOデータセットの実験により、CADDetはバニラルーティングに比べて10%少ないFLOPで1.8以上のmAPを達成することが示された。
論文 参考訳(メタデータ) (2020-12-08T08:05:20Z) - Towards Automated Neural Interaction Discovery for Click-Through Rate
Prediction [64.03526633651218]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最も重要な機械学習タスクの1つである。
本稿では,AutoCTR と呼ばれる CTR 予測のための自動インタラクションアーキテクチャ探索フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-29T04:33:01Z) - Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and
Robust AutoDL [53.40030379661183]
Auto-PyTorchは、完全に自動化されたディープラーニング(AutoDL)を実現するフレームワーク
ディープニューラルネットワーク(DNN)のウォームスタートとアンサンブルのためのマルチフィデリティ最適化とポートフォリオ構築を組み合わせる。
Auto-PyTorchは、いくつかの最先端の競合製品よりもパフォーマンスが良いことを示す。
論文 参考訳(メタデータ) (2020-06-24T15:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。