Fugu-MT 論文翻訳(概要): Neural Attentive Circuits

論文の概要: Neural Attentive Circuits

arxiv url: http://arxiv.org/abs/2210.08031v1
Date: Fri, 14 Oct 2022 18:00:07 GMT
ステータス: 処理完了
システム内更新日: 2022-10-18 15:46:55.690129
Title: Neural Attentive Circuits
Title（参考訳）: ニューラルネットワーク回路
Authors: Nasim Rahaman and Martin Weiss and Francesco Locatello and Chris Pal and Yoshua Bengio and Bernhard Sch\"olkopf and Erran Li and Nicolas Ballas
Abstract要約: 我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
参考スコア（独自算出の注目度）: 93.95502541529115
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent work has seen the development of general purpose neural architectures that can be trained to perform tasks across diverse data modalities. General purpose models typically make few assumptions about the underlying data-structure and are known to perform well in the large-data regime. At the same time, there has been growing interest in modular neural architectures that represent the data using sparsely interacting modules. These models can be more robust out-of-distribution, computationally efficient, and capable of sample-efficient adaptation to new data. However, they tend to make domain-specific assumptions about the data, and present challenges in how module behavior (i.e., parameterization) and connectivity (i.e., their layout) can be jointly learned. In this work, we introduce a general purpose, yet modular neural architecture called Neural Attentive Circuits (NACs) that jointly learns the parameterization and a sparse connectivity of neural modules without using domain knowledge. NACs are best understood as the combination of two systems that are jointly trained end-to-end: one that determines the module configuration and the other that executes it on an input. We demonstrate qualitatively that NACs learn diverse and meaningful module configurations on the NLVR2 dataset without additional supervision. Quantitatively, we show that by incorporating modularity in this way, NACs improve upon a strong non-modular baseline in terms of low-shot adaptation on CIFAR and CUBs dataset by about 10%, and OOD robustness on Tiny ImageNet-R by about 2.5%. Further, we find that NACs can achieve an 8x speedup at inference time while losing less than 3% performance. Finally, we find NACs to yield competitive results on diverse data modalities spanning point-cloud classification, symbolic processing and text-classification from ASCII bytes, thereby confirming its general purpose nature.
Abstract（参考訳）: 近年の研究では、さまざまなデータモダリティにまたがるタスクの実行をトレーニング可能な汎用神経アーキテクチャが開発されている。汎用モデルは通常、基盤となるデータ構造についての仮定がほとんどなく、大規模データシステムでうまく機能することが知られている。同時に、疎相互作用モジュールを使用してデータを表現するモジュールニューラルアーキテクチャへの関心も高まっている。これらのモデルはより堅牢で、計算効率が高く、新しいデータへのサンプル効率の良い適応が可能である。しかし、それらはデータについてドメイン固有の仮定をし、モジュールの振舞い(パラメータ化)と接続性(レイアウト)を共同で学べるかという課題を提示する傾向にある。本研究では,神経モジュールのパラメータ化と疎結合をドメイン知識を使わずに共同で学習する,ニューラルネットワーク回路(NAC)と呼ばれる汎用のモジュール型ニューラルネットワークを提案する。 nacは、モジュール構成を決定する1つと、入力で実行するもう1つの2つの2つのシステムの組み合わせとして、最もよく理解されている。我々はNACがNLVR2データセット上の多様で意味のあるモジュール構成を、追加の監督なしに学習できることを定性的に示す。このようにモジュラリティを組み込むことで、NACはCIFARおよびCUBsデータセットへの低ショット適応を約10%改善し、Tiny ImageNet-RでのOOD堅牢性を約2.5%改善した。さらに,nacsは3%未満のパフォーマンスを損なうことなく,推論時に8倍のスピードアップを達成できることがわかった。最後に、NACは、ポイントクラウド分類、シンボル処理、ASCIIバイトからのテキスト分類にまたがる多様なデータモダリティの競合的な結果が得られることを発見し、その汎用性を確認する。

関連論文リスト

Jointly-Learned Exit and Inference for a Dynamic Neural Network : JEI-DNN [20.380620709345898]
早期排他的動的ニューラルネットワーク(EDNN)は、中間層(即ち早期排他)からの予測の一部をモデルが行うことを可能にする。 EDNNアーキテクチャのトレーニングは、初期出力決定を制御するゲーティング機構(GM)と中間表現からの推論を実行する中間推論モジュール(IM)の2つのコンポーネントで構成されるため、難しい。本稿では,これら2つのモジュールを接続する新しいアーキテクチャを提案する。これにより分類データセットの性能が大幅に向上し,不確実性評価機能の向上が期待できる。
論文参考訳（メタデータ） (2023-10-13T14:56:38Z)
Adaptive Growth: Real-time CNN Layer Expansion [0.0]
本研究では,データ入力に基づいて,畳み込みニューラルネットワーク(CNN)の畳み込み層を動的に進化させるアルゴリズムを提案する。厳密なアーキテクチャの代わりに、我々のアプローチはカーネルを畳み込み層に反復的に導入し、様々なデータに対してリアルタイムに応答する。興味深いことに、我々の教師なしの手法は、さまざまなデータセットにまたがって教師なしの手法を上回った。
論文参考訳（メタデータ） (2023-09-06T14:43:58Z)
Efficient Model Adaptation for Continual Learning at the Edge [15.334881190102895]
ほとんどの機械学習(ML)システムは、トレーニングとデプロイメントの間、定常的で一致したデータ分散を前提としている。データ分布は、環境要因、センサー特性、タスク・オブ・関心などの変化により、時間とともに変化することが多い。本稿では,ドメインシフト下での効率的な連続学習のためのアダプタ・リコンフィグレータ(EAR)フレームワークを提案する。
論文参考訳（メタデータ） (2023-08-03T23:55:17Z)
Modular Neural Network Approaches for Surgical Image Recognition [0.0]
本稿では,DCSS不安定性分類のためのモジュール型学習の異なるアーキテクチャを導入,評価する。実験の結果,モジュール型学習は非モジュール型システムと比較して性能が向上することがわかった。第2部では,肩関節鏡画像への自己訓練によるデータラベリングとセグメンテーションのアプローチを提案する。
論文参考訳（メタデータ） (2023-07-17T22:28:16Z)
NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文参考訳（メタデータ） (2022-11-15T10:15:21Z)
Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文参考訳（メタデータ） (2020-12-23T09:33:11Z)
Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文参考訳（メタデータ） (2020-09-13T21:12:20Z)
Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文参考訳（メタデータ） (2020-06-29T08:35:49Z)
Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文参考訳（メタデータ） (2020-05-13T13:25:51Z)
When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。