論文の概要: Local Propagation in Constraint-based Neural Network

• arxiv url: http://arxiv.org/abs/2002.07720v2
• Date: Fri, 17 Apr 2020 10:20:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 19:34:15.064319
• Title: Local Propagation in Constraint-based Neural Network
• Title（参考訳）: 拘束型ニューラルネットワークにおける局所伝播
• Authors: Giuseppe Marra, Matteo Tiezzi, Stefano Melacci, Alessandro Betti, Marco Maggini, Marco Gori
• Abstract要約: ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。 本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
• 参考スコア（独自算出の注目度）: 77.37829055999238
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we study a constraint-based representation of neural network architectures. We cast the learning problem in the Lagrangian framework and we investigate a simple optimization procedure that is well suited to fulfil the so-called architectural constraints, learning from the available supervisions. The computational structure of the proposed Local Propagation (LP) algorithm is based on the search for saddle points in the adjoint space composed of weights, neural outputs, and Lagrange multipliers. All the updates of the model variables are locally performed, so that LP is fully parallelizable over the neural units, circumventing the classic problem of gradient vanishing in deep networks. The implementation of popular neural models is described in the context of LP, together with those conditions that trace a natural connection with Backpropagation. We also investigate the setting in which we tolerate bounded violations of the architectural constraints, and we provide experimental evidence that LP is a feasible approach to train shallow and deep networks, opening the road to further investigations on more complex architectures, easily describable by constraints.
• Abstract（参考訳）: 本稿では,ニューラルネットワークアーキテクチャの制約に基づく表現について述べる。 我々は、学習問題をラグランジアンフレームワークにキャストし、利用可能な監督から学び、いわゆるアーキテクチャ上の制約を満たすのに適した簡単な最適化手順について検討する。 提案アルゴリズムの計算構造は,重み,ニューラルアウトプット,ラグランジュ乗算器からなる隣接空間におけるサドル点の探索に基づいている。 モデル変数の更新はすべて局所的に行われるので、LPはニューラルネットワーク上で完全に並列化可能であり、ディープネットワークにおける勾配の古典的な問題を回避することができる。 一般的なニューラルネットワークの実装は、バックプロパゲーションと自然な関係を辿る条件とともに、LPの文脈で説明されている。 また,アーキテクチャ制約の制約付き違反を許容する条件についても検討し,LPが浅層および深層ネットワークのトレーニングに有効なアプローチであることを示す実験的な証拠を提供し,より複雑なアーキテクチャに関するさらなる調査への道を開いた。

関連論文リスト

• Deep Neural Network for Constraint Acquisition through Tailored Loss Function [0.0]
  データから制約を学習することの重要性は、実世界の問題解決における潜在的な応用によって裏付けられている。 この研究は、シンボリック回帰に基づくディープニューラルネットワーク(DNN)に基づく新しいアプローチを導入する。
  論文  参考訳（メタデータ） (2024-03-04T13:47:33Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
  本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。 損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-05T13:26:17Z)
• Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
  我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。 制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。 私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
  論文  参考訳（メタデータ） (2023-06-15T08:33:52Z)
• LSA-PINN: Linear Boundary Connectivity Loss for Solving PDEs on Complex Geometry [15.583172926806148]
  物理インフォームドニューラルネットワーク(PINN)を用いた複雑な力学の効率的な学習のための新しい損失定式化について述べる。 我々の実験では、PINNの既存バージョンは多くの問題、特に複雑なジオメトリにおいて学習が不十分であることがわかった。 PINNの境界における勾配挙動に対して線形局所構造近似(LSA)を提供する新しい境界結合性(BCXN)損失関数を提案する。
  論文  参考訳（メタデータ） (2023-02-03T03:26:08Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• An Integer Linear Programming Framework for Mining Constraints from Data [81.60135973848125]
  データから制約をマイニングするための一般的なフレームワークを提案する。 特に、構造化された出力予測の推論を整数線形プログラミング(ILP)問題とみなす。 提案手法は,9×9のスドクパズルの解法を学習し,基礎となるルールを提供することなく,例からツリー問題を最小限に分散させることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-18T20:09:53Z)
• Deep Constraint-based Propagation in Graph Neural Networks [15.27048776159285]
  本稿では,ラグランジアンフレームワークにおける制約付き最適化に基づくグラフニューラルネットワーク(GNN)の学習手法を提案する。 我々の計算構造は、重み、ノード状態変数、ラグランジュ乗算器からなる随伴空間におけるラグランジアンのサドル点を探索する。 実験により,提案手法はいくつかのベンチマークで一般的なモデルと比較された。
  論文  参考訳（メタデータ） (2020-05-05T16:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。