論文の概要: Tourbillon: a Physically Plausible Neural Architecture

• arxiv url: http://arxiv.org/abs/2107.06424v1
• Date: Tue, 13 Jul 2021 22:51:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-16 02:01:12.194249
• Title: Tourbillon: a Physically Plausible Neural Architecture
• Title（参考訳）: Tourbillon: 物理的に可塑性なニューラルネットワーク
• Authors: Mohammadamin Tavakoli, Pierre Baldi, Peter Sadowski
• Abstract要約: Tourbillonは、バックプロパゲーションの制限に対処する新しいアーキテクチャである。 Tourbillonは、バックプロパゲーションで訓練されたモデルに匹敵するパフォーマンスを達成できることを示す。
• 参考スコア（独自算出の注目度）: 8.7660229706359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a physical neural system, backpropagation is faced with a number of obstacles including: the need for labeled data, the violation of the locality learning principle, the need for symmetric connections, and the lack of modularity. Tourbillon is a new architecture that addresses all these limitations. At its core, it consists of a stack of circular autoencoders followed by an output layer. The circular autoencoders are trained in self-supervised mode by recirculation algorithms and the top layer in supervised mode by stochastic gradient descent, with the option of propagating error information through the entire stack using non-symmetric connections. While the Tourbillon architecture is meant primarily to address physical constraints, and not to improve current engineering applications of deep learning, we demonstrate its viability on standard benchmark datasets including MNIST, Fashion MNIST, and CIFAR10. We show that Tourbillon can achieve comparable performance to models trained with backpropagation and outperform models that are trained with other physically plausible algorithms, such as feedback alignment.
• Abstract（参考訳）: 物理的ニューラルネットワークでは、バックプロパゲーションには、ラベル付きデータの必要性、局所性学習原則の違反、対称接続の必要性、モジュラリティの欠如など、多くの障害がある。 Tourbillonは、これらの制限に対処する新しいアーキテクチャである。 コアは円形のオートエンコーダのスタックと出力層で構成されている。 円形オートエンコーダは、非対称接続を用いてスタック全体を通してエラー情報を伝播するオプションにより、再循環アルゴリズムと教師モードの上位層により自己教師モードで訓練される。 Tourbillonアーキテクチャは、主に物理的な制約に対処することを目的としており、ディープラーニングの現在の工学的応用を改善するものではないが、MNIST、Fashion MNIST、CIFAR10といった標準ベンチマークデータセットでその可能性を示す。 フィードバックアライメントなど,他の物理的に妥当なアルゴリズムでトレーニングされたバックプロパゲーションモデルやパフォーマンスモデルでトレーニングされたモデルに比較して,Turbillonの性能が向上することを示す。

関連論文リスト

• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Git Re-Basin: Merging Models modulo Permutation Symmetries [3.5450828190071655]
  提案手法は,大規模ネットワークに適合する簡単なアルゴリズムを実例で示す。 我々は、独立に訓練されたモデル間のゼロモード接続の最初のデモ(私たちの知る限り)を実演する。 また、線形モード接続仮説の欠点についても論じる。
  論文  参考訳（メタデータ） (2022-09-11T10:44:27Z)
• Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
  本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。 このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T19:58:03Z)
• Path Development Network with Finite-dimensional Lie Group Representation [3.9983665898166425]
  有限次元リー群を経由したシーケンシャルデータの表現を利用する,新しい訓練可能な経路開発層を提案する。 提案するレイヤは、リカレントニューラルネットワーク(RNN)に類似しており、勾配問題を緩和する明示的で単純なリカレントユニットを有している。 様々なデータセットにおける実験結果から、開発層は、精度と次元性において、シグネチャ特性を一貫して、著しく上回っていることが示される。
  論文  参考訳（メタデータ） (2022-04-02T02:01:00Z)
• Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
  顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。 具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。 提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T02:12:30Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Understanding Dynamics of Nonlinear Representation Learning and Its Application [12.697842097171119]
  暗黙的非線形表現学習のダイナミクスについて検討する。 我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。 我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
  論文  参考訳（メタデータ） (2021-06-28T16:31:30Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Edge Federated Learning Via Unit-Modulus Over-The-Air Computation (Extended Version) [64.76619508293966]
  本稿では,効率の良いエッジフェデレーション学習を実現するために,UM-AirCompフレームワークを提案する。 ローカルモデルパラメータを同時にアップロードし、アナログビームフォーミングを通じてグローバルモデルパラメータを更新する。 車両間自動運転シミュレーションプラットフォームにおけるUM-AirCompの実装を実演する。
  論文  参考訳（メタデータ） (2021-01-28T15:10:22Z)
• Learning to Encode Position for Transformer with Continuous Dynamical Model [88.69870971415591]
  本研究では,トランスフォーマーモデルなどの非リカレントモデルの位置情報をエンコードする新しい学習方法を提案する。 このような力学系による位置指数に沿った符号化結果の進化をモデル化する。
  論文  参考訳（メタデータ） (2020-03-13T00:41:41Z)
• Follow the Neurally-Perturbed Leader for Adversarial Training [0.0]
  摂動のない振る舞いを伴わない混合平衡に対するゼロサム学習のための新しいリーダーアルゴリズムを提案する。 我々は, この学習アルゴリズムを, 凸や乱れを伴わないゲームや, 生成的対角構造に応用することにより, 理論的結果を検証した。 逆模倣学習アプリケーションのためのアルゴリズムの実装をカスタマイズする。
  論文  参考訳（メタデータ） (2020-02-16T00:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。