Fugu-MT 論文翻訳(概要): Neural Teleportation

論文の概要: Neural Teleportation

arxiv url: http://arxiv.org/abs/2012.01118v2
Date: Wed, 12 May 2021 13:47:00 GMT
ステータス: 処理完了
システム内更新日: 2021-05-25 03:45:22.084829
Title: Neural Teleportation
Title（参考訳）: 神経テレポーテーション
Authors: Marco Armenta, Thierry Judge, Nathan Painchaud, Youssef Skandarani, Carl Lemaire, Gabriel Gibeau Sanchez, Philippe Spino, Pierre-Marc Jodoin
Abstract要約: ニューラルネットワークの重み付けを初期化する単純な操作であるニューラルテレポーテーションを導入する。テレポーテーションに関する数学的および経験的な発見について論じる。
参考スコア（独自算出の注目度）: 10.798424918824981
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we introduce neural teleportation, a simple operation one can use to initialize the weights of a neural network and gain faster convergence. Neural teleportation is the consequence of applying isomorphisms of quiver representations to neural networks. This process "teleports" a network to a new position in the weight space while leaving its input-to-output function unchanged. The concept of neural teleportation generalizes to any neural network architecture, activation function and task. We run several experiments that validate our hypothesis: teleporting a network at initialization speeds-up convergence. Finally, we discuss several mathematical and empirical findings concerning teleportation.
Abstract（参考訳）: 本稿では,ニューラルネットワークの重み付けを初期化し,より高速な収束を実現するための簡単な操作であるニューラルテレポーテーションを紹介する。神経テレポーテーション(neural teleportation)は、クイバー表現の同型をニューラルネットワークに適用した結果である。このプロセスは、入出力関数を変更せずに、重み空間内の新しい位置へネットワークを「テイルポート」する。ニューラルテレポーテーションの概念は、あらゆるニューラルネットワークアーキテクチャ、アクティベーション機能、タスクに一般化される。ネットワークを初期化速度-アップ収束時にテレポーティングする、という仮説を検証する実験がいくつか実施されている。最後に,テレポーテーションに関する数学的および経験的な知見について述べる。

関連論文リスト

Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文参考訳（メタデータ） (2024-02-21T15:51:01Z)
Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文参考訳（メタデータ） (2024-02-19T09:29:37Z)
Expressivity of Spiking Neural Networks [15.181458163440634]
本研究では,ニューロンの発射時間内に情報を符号化したスパイクニューラルネットワークの能力について検討する。 ReLUネットワークとは対照的に、スパイクニューラルネットワークは連続関数と不連続関数の両方を実現することができる。
論文参考訳（メタデータ） (2023-08-16T08:45:53Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
A survey on recently proposed activation functions for Deep Learning [0.0]
本稿では,ニューラルネットワークにおけるアクティベーション関数の主な概念について述べる。これには、ディープニューラルネットワークの簡単な紹介、アクティベーション関数とは何なのか、ニューラルネットワークでどのように使用されるのか、最も一般的な性質、異なるタイプのアクティベーション関数、いくつかの課題、制限、アクティベーション関数が直面する代替ソリューションなどが含まれる。
論文参考訳（メタデータ） (2022-04-06T16:21:52Z)
Parametrized constant-depth quantum neuron [56.51261027148046]
本稿では,カーネルマシンをベースとした量子ニューロン構築フレームワークを提案する。ここでは、指数的に大きい空間にテンソル積特徴写像を適用するニューロンについて述べる。パラメトリゼーションにより、提案されたニューロンは、既存のニューロンが適合できない基礎となるパターンを最適に適合させることができることが判明した。
論文参考訳（メタデータ） (2022-02-25T04:57:41Z)
On quantum neural networks [91.3755431537592]
量子ニューラルネットワークの概念は、その最も一般的な関数の観点から定義されるべきである。我々の推論は、量子力学におけるファインマン経路積分定式化の利用に基づいている。
論文参考訳（メタデータ） (2021-04-12T18:30:30Z)
Infinite-dimensional Folded-in-time Deep Neural Networks [0.0]
本研究では,より厳密な数学的解析を可能にする無限次元一般化を提案する。また,重みの降下訓練を可能にする機能的バックプロパゲーションアルゴリズムを提供する。
論文参考訳（メタデータ） (2021-01-08T11:30:50Z)
IC Neuron: An Efficient Unit to Construct Neural Networks [8.926478245654703]
より複雑な分布を表現できる新しいニューロンモデルを提案する。層間衝突(IC)ニューロンは入力空間を異なる線形変換を表すために使用される複数の部分空間に分割する。我々は、ICニューロンを完全連結(FC)、畳み込み、再帰構造に統合することにより、ICネットワークを構築する。
論文参考訳（メタデータ） (2020-11-23T08:36:48Z)
Quantum neuromorphic computing [2.817412580574242]
量子ニューロモルフィックコンピューティングは、脳にインスパイアされた量子ハードウェアにニューラルネットワークを物理的に実装し、計算を高速化する。いくつかのアプローチはパラメタライズド量子回路に基づいており、ニューラルネットワークにインスパイアされたアルゴリズムを使ってトレーニングしている。
論文参考訳（メタデータ） (2020-06-26T17:18:54Z)
Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。