論文の概要: Rethinking Neural Operations for Diverse Tasks

• arxiv url: http://arxiv.org/abs/2103.15798v1
• Date: Mon, 29 Mar 2021 17:50:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 15:30:39.488227
• Title: Rethinking Neural Operations for Diverse Tasks
• Title（参考訳）: 多様なタスクに対するニューラル操作の再考
• Authors: Nicholas Roberts and Mikhail Khodak and Tri Dao and Liam Li and Christopher R\'e and Ameet Talwalkar
• Abstract要約: 標準マルチチャネル畳み込みの帰納的バイアスを模倣するxd演算と呼ばれるニューラルネットワークの探索空間を導入する。 LeNetやResNetなどのバックボーンネットワークをXD-Operations上のアーキテクチャ検索空間に変換する方法を紹介します。 我々のアプローチは、ベースラインネットワークよりもエラーが少なく、時には専門家が設計したドメイン固有のアプローチよりもエラーが少ないモデルを生成する。
• 参考スコア（独自算出の注目度）: 22.998431126801254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An important goal of neural architecture search (NAS) is to automate-away the design of neural networks on new tasks in under-explored domains. Motivated by this broader vision for NAS, we study the problem of enabling users to discover the right neural operations given data from their specific domain. We introduce a search space of neural operations called XD-Operations that mimic the inductive bias of standard multichannel convolutions while being much more expressive: we prove that XD-operations include many named operations across several application areas. Starting with any standard backbone network such as LeNet or ResNet, we show how to transform it into an architecture search space over XD-operations and how to traverse the space using a simple weight-sharing scheme. On a diverse set of applications--image classification, solving partial differential equations (PDEs), and sequence modeling--our approach consistently yields models with lower error than baseline networks and sometimes even lower error than expert-designed domain-specific approaches.
• Abstract（参考訳）: neural architecture search(nas)の重要な目標は、未探索領域における新しいタスクにおけるニューラルネットワークの設計を自動化することだ。 NASに対するこの広範なビジョンに触発された我々は、ユーザが特定のドメインから与えられたデータから適切な神経操作を発見できるという問題を研究した。 我々は、標準的なマルチチャネル畳み込みの帰納的バイアスを模倣し、より表現豊かであるxd操作と呼ばれるニューラルネットワークの探索空間を導入する: 我々は、xd操作が複数のアプリケーション領域にまたがる多くの名前付き操作を含むことを証明する。 LeNetやResNetのような標準的なバックボーンネットワークから始め、XD操作によるアーキテクチャ検索空間への変換方法と、単純な重み付け方式を用いて空間をトラバースする方法を示す。 画像分類、偏微分方程式(pdes)の解法、およびシーケンスモデリングのアプローチは、ベースラインネットワークよりもエラーが少なく、時には専門家が設計したドメイン固有のアプローチよりもエラーが少ないモデルをもたらす。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Analyzing Populations of Neural Networks via Dynamical Model Embedding [10.455447557943463]
  ディープニューラルネットワークの解釈における中核的な課題は、同じタスクのためにトレーニングされた異なるネットワークによって実装された基盤となるアルゴリズム間の共通点を特定することである。 この問題に触発されたDYNAMOは,各点がニューラルネットワークモデルに対応する低次元多様体を構築するアルゴリズムであり,対応するニューラルネットワークが同様のハイレベルな計算処理を実行する場合,その近傍に2つの点が存在する。 DYNAMOは、事前訓練されたニューラルネットワークのコレクションを入力として、隠された状態のダイナミクスとコレクション内の任意のモデルの出力をエミュレートするメタモデルを出力する。
  論文  参考訳（メタデータ） (2023-02-27T19:00:05Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• The Multiple Subnetwork Hypothesis: Enabling Multidomain Learning by Isolating Task-Specific Subnetworks in Feedforward Neural Networks [0.0]
  我々は,未使用の重み付きネットワークがその後のタスクを学習するための方法論とネットワーク表現構造を同定する。 提案手法を用いてトレーニングされたネットワークは,タスクのパフォーマンスを犠牲にすることなく,あるいは破滅的な忘れを伴わずに,複数のタスクを学習できることを示す。
  論文  参考訳（メタデータ） (2022-07-18T15:07:13Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
  我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。 本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
  論文  参考訳（メタデータ） (2020-08-24T09:49:19Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Finding Non-Uniform Quantization Schemes using Multi-Task Gaussian Processes [12.798516310559375]
  その結果,最後の層では精度が著しく低いため,メモリの節約を図りながら精度の低下が最小限に抑えられることがわかった。 我々は,VGG,ResNet,GoogLeNetアーキテクチャを用いて,CIFAR10およびImageNetデータセット上で実験を行った。
  論文  参考訳（メタデータ） (2020-07-15T15:16:18Z)
• VINNAS: Variational Inference-based Neural Network Architecture Search [2.685668802278155]
  スパース畳み込みニューラルネットワークを探索するための可変変分推論に基づくNAS法を提案する。 提案手法は,非ゼロパラメータの約2倍の精度で最先端の精度を示しながら,多様なネットワークセルを探索する。
  論文  参考訳（メタデータ） (2020-07-12T21:47:35Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。