論文の概要: Attention-based Neural Cellular Automata
- arxiv url: http://arxiv.org/abs/2211.01233v1
- Date: Wed, 2 Nov 2022 16:14:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-03 12:10:01.494553
- Title: Attention-based Neural Cellular Automata
- Title（参考訳）: 注意に基づく神経細胞オートマトン
- Authors: Mattie Tesfaldet, Derek Nowrouzezahrai, Christopher Pal
- Abstract要約: 近年のCellular Automata(CA)の拡張は深層学習技術から重要なアイデアを取り入れている。
そこで我々は,細胞状態のNAA表現に基づくトランスフォーマーベースのCattext Transformer (NCA) の新たなクラスを提案する。
我々は、ViTCAを類似アーキテクチャと比較し、U-NetCAベースラインと比較して優れた結果を得る。
- 参考スコア（独自算出の注目度）: 16.244338670837838
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent extensions of Cellular Automata (CA) have incorporated key ideas from
modern deep learning, dramatically extending their capabilities and catalyzing
a new family of Neural Cellular Automata (NCA) techniques. Inspired by
Transformer-based architectures, our work presents a new class of
$\textit{attention-based}$ NCAs formed using a spatially
localized$\unicode{x2014}$yet globally organized$\unicode{x2014}$self-attention
scheme. We introduce an instance of this class named $\textit{Vision
Transformer Cellular Automata}$ (ViTCA). We present quantitative and
qualitative results on denoising autoencoding across six benchmark datasets,
comparing ViTCA to a U-Net, a U-Net-based CA baseline (UNetCA), and a Vision
Transformer (ViT). When comparing across architectures configured to similar
parameter complexity, ViTCA architectures yield superior performance across all
benchmarks and for nearly every evaluation metric. We present an ablation study
on various architectural configurations of ViTCA, an analysis of its effect on
cell states, and an investigation on its inductive biases. Finally, we examine
its learned representations via linear probes on its converged cell state
hidden representations, yielding, on average, superior results when compared to
our U-Net, ViT, and UNetCA baselines.
- Abstract（参考訳）: 最近のセルラーオートマタ(CA)の拡張は、現代のディープラーニングから重要なアイデアを取り入れ、その能力を劇的に拡張し、ニューラルセルラーオートマタ(NCA)技術の新たなファミリーを触媒している。
トランスフォーマティブなアーキテクチャに着想を得た本研究では,空間的に局所化された$\unicode{x2014}$yet を用いた$\textit{attention-based}$ ncas の新たなクラスを提案する。
以下は、このクラスの例である $\textit{Vision Transformer Cellular Automata}$ (ViTCA)を紹介する。
本稿では、VTCAをU-Net、U-NetベースのCAベースライン(UNetCA)、ビジョントランスフォーマー(ViT)と比較し、6つのベンチマークデータセットにおける自動エンコーディングの定量的および定性的な結果を示す。
類似したパラメータの複雑さで構成されたアーキテクチャを比較すると、vitcaアーキテクチャはすべてのベンチマークおよびほぼすべての評価基準において優れたパフォーマンスをもたらす。
本稿では、ViTCAの様々な構造構造に関するアブレーション研究、その細胞状態への影響の解析、誘導バイアスに関する研究について述べる。
最後に, 収束セル状態隠蔽表現に対する線形プローブによる学習表現について検討し, 平均値, 平均値, U-Net, ViT, UNetCAベースラインと比較して, 優れた結果を得た。
関連論文リスト
- CAX: Cellular Automata Accelerated in JAX [5.380545611878407]
本稿では,セルオートマトン研究の高速化を目的とした,高性能で柔軟なオープンソースライブラリCAXを紹介する。
様々なベンチマークやアプリケーションを通じてCAXのパフォーマンスを実証する。
単純な1次元セルオートマトンは 1D-ARC チャレンジにおいて GPT-4 より優れていることを示す。
論文 参考訳（メタデータ） (2024-10-03T16:36:05Z) - CAS-ViT: Convolutional Additive Self-attention Vision Transformers for Efficient Mobile Applications [59.193626019860226]
ビジョントランスフォーマー(ViT)は、トークンミキサーの強力なグローバルコンテキスト能力によって、ニューラルネットワークの革命的な進歩を示す。
CAS-ViT: Convolutional Additive Self-attention Vision Transformersを紹介する。
我々はCAS-ViTが他の最先端のバックボーンと比較して競争力を発揮することを示す。
論文 参考訳（メタデータ） (2024-08-07T11:33:46Z) - AdaNCA: Neural Cellular Automata As Adaptors For More Robust Vision Transformer [27.921949273217468]
視覚変換器 (ViT) は視覚と視覚の相互作用学習を通して画像分類において顕著な性能を示す。
そこで我々は,視覚変換器用ニューラルセルラーオートマタ (NCA) を提案する。
パラメータの3%未満の増加により、AdaNCAは敵攻撃による精度の10%以上の絶対的な改善に寄与する。
論文 参考訳（メタデータ） (2024-06-12T14:59:12Z) - Implantable Adaptive Cells: differentiable architecture search to improve the performance of any trained U-shaped network [0.0]
本稿では,医用画像分割におけるトレーニング済みニューラルネットワークの性能向上のための新しいアプローチを提案する。
本稿では, 部分連結DARTSを介し, 小型ながら強力なモジュールであるIACの概念を提案する。
当社の戦略では,既存のアーキテクチャにIACをシームレスに統合することで,ゼロから完全に再トレーニングする必要のないパフォーマンスの向上を実現しています。
論文 参考訳（メタデータ） (2024-05-06T12:40:15Z) - Dissecting Multimodality in VideoQA Transformer Models by Impairing Modality Fusion [54.33764537135906]
VideoQA Transformerモデルは標準ベンチマークで競合性能を示す。
これらのモデルはビデオとテキストからリッチなマルチモーダル構造とダイナミックスを一緒に捉えていますか?
彼らはバイアスと刺激的な特徴を利用して高いスコアを達成していますか?
論文 参考訳（メタデータ） (2023-06-15T06:45:46Z) - Subcellular Protein Localisation in the Human Protein Atlas using
Ensembles of Diverse Deep Architectures [11.41081495236219]
細胞内タンパク質の視覚的局在の自動化は、健康と病気における細胞機能の理解を加速させる。
i)細胞アノテーションの品質の自動改善、(ii)不均衡でノイズの多いデータをサポートする新しい畳み込みニューラルネットワーク(CNN)アーキテクチャ、(iii)多種多様な機械学習モデルの選択と融合という3つの重要な側面に対処することで、このギャップを狭めることができることを示す。
論文 参考訳（メタデータ） (2022-05-19T20:28:56Z) - Vision Transformer Architecture Search [64.73920718915282]
現在の視覚変換器(ViT)は、自然言語処理(NLP)タスクから単純に継承される。
ハードウェア予算に類似した最適アーキテクチャを探索するために,ViTASと呼ばれるアーキテクチャ探索手法を提案する。
検索したアーキテクチャは、ImageNetで74.7%の精度で、現在のベースラインのViTアーキテクチャよりも2.5%高い。
論文 参考訳（メタデータ） (2021-06-25T15:39:08Z) - Vision Transformers are Robust Learners [65.91359312429147]
ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。
ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
論文 参考訳（メタデータ） (2021-05-17T02:39:22Z) - Towards Automated Neural Interaction Discovery for Click-Through Rate
Prediction [64.03526633651218]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最も重要な機械学習タスクの1つである。
本稿では,AutoCTR と呼ばれる CTR 予測のための自動インタラクションアーキテクチャ探索フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-29T04:33:01Z) - Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and
Robust AutoDL [53.40030379661183]
Auto-PyTorchは、完全に自動化されたディープラーニング(AutoDL)を実現するフレームワーク
ディープニューラルネットワーク(DNN)のウォームスタートとアンサンブルのためのマルチフィデリティ最適化とポートフォリオ構築を組み合わせる。
Auto-PyTorchは、いくつかの最先端の競合製品よりもパフォーマンスが良いことを示す。
論文 参考訳（メタデータ） (2020-06-24T15:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。