論文の概要: Developing Constrained Neural Units Over Time
- arxiv url: http://arxiv.org/abs/2009.00296v1
- Date: Tue, 1 Sep 2020 09:07:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-23 00:33:29.401955
- Title: Developing Constrained Neural Units Over Time
- Title（参考訳）: 時間とともに制約された神経ユニットの開発
- Authors: Alessandro Betti, Marco Gori, Simone Marullo, Stefano Melacci
- Abstract要約: 本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
- 参考スコア（独自算出の注目度）: 81.19349325749037
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we present a foundational study on a constrained method that
defines learning problems with Neural Networks in the context of the principle
of least cognitive action, which very much resembles the principle of least
action in mechanics. Starting from a general approach to enforce constraints
into the dynamical laws of learning, this work focuses on an alternative way of
defining Neural Networks, that is different from the majority of existing
approaches. In particular, the structure of the neural architecture is defined
by means of a special class of constraints that are extended also to the
interaction with data, leading to "architectural" and "input-related"
constraints, respectively. The proposed theory is cast into the time domain, in
which data are presented to the network in an ordered manner, that makes this
study an important step toward alternative ways of processing continuous
streams of data with Neural Networks. The connection with the classic
Backpropagation-based update rule of the weights of networks is discussed,
showing that there are conditions under which our approach degenerates to
Backpropagation. Moreover, the theory is experimentally evaluated on a simple
problem that allows us to deeply study several aspects of the theory itself and
to show the soundness of the model.
- Abstract（参考訳）: 本稿では,最小認知行動原理の文脈において,ニューラルネットワークを用いた学習問題を定義する制約付き手法に関する基礎的検討を行う。
この研究は、学習のダイナミックな法則に制約を強制する一般的なアプローチから始まり、既存のほとんどのアプローチとは異なるニューラルネットワークを定義する代替方法に焦点を当てている。
特に、ニューラルネットワークの構造は、データとの相互作用にも拡張される特別な制約のクラスによって定義され、それぞれ「アーキテクチャ」と「インプット関連」の制約をもたらす。
提案する理論は、データを順序づけられた方法でネットワークに提示する時間領域に投入され、ニューラルネットワークを用いて連続的なデータストリームを処理する方法の代替として重要なステップとなる。
従来のバックプロパゲーションに基づくネットワーク重みの更新規則との関係について論じ,提案手法がバックプロパゲーションに退化する条件が存在することを示す。
さらに、この理論は、理論のいくつかの側面を深く研究し、モデルの健全性を示すための単純な問題に基づいて実験的に評価される。
関連論文リスト
- A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク
i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文 参考訳（メタデータ） (2024-09-18T14:57:13Z) - Understanding Deep Learning via Notions of Rank [5.439020425819001]
この論文は、ディープラーニングの理論を発展させる鍵としてランクの概念を提唱している。
特に、勾配に基づくトレーニングは、いくつかのニューラルネットワークアーキテクチャにおいて、低ランクに対する暗黙の正規化を誘導できると確認する。
明示的な正規化スキームとデータ前処理アルゴリズムを設計するための我々の理論の実践的意味を述べる。
論文 参考訳（メタデータ） (2024-08-04T18:47:55Z) - Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。
この論文は、この領域の研究に理論的および実践的な貢献を提供する。
論文 参考訳（メタデータ） (2024-02-21T12:16:51Z) - An effective theory of collective deep learning [1.3812010983144802]
我々は、近年の分散化アルゴリズムを凝縮する最小限のモデルを導入する。
線形ネットワークの有効理論を導出し、我々のシステムの粗粒度挙動が変形したギンズバーグ・ランダウモデルと等価であることを示す。
MNISTデータセットで訓練された現実的なニューラルネットワークの結合アンサンブルで理論を検証した。
論文 参考訳（メタデータ） (2023-10-19T14:58:20Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Imbedding Deep Neural Networks [0.0]
ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。
本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
論文 参考訳（メタデータ） (2022-01-31T22:00:41Z) - Learning Interpretable Models for Coupled Networks Under Domain
Constraints [8.308385006727702]
脳ネットワークの構造的エッジと機能的エッジの相互作用に着目して,結合ネットワークの概念を検討する。
相互作用を推定しながらノイズ項にハードネットワークの制約を課す新しい定式化を提案する。
ヒトコネクトームプロジェクトから得られたマルチシェル拡散およびタスク誘発fMRIデータセットの手法を検証する。
論文 参考訳（メタデータ） (2021-04-19T06:23:31Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳（メタデータ） (2020-06-30T14:46:08Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳（メタデータ） (2020-06-19T22:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。