論文の概要: Improving Convolutional Neural Networks Via Conservative Field Regularisation and Integration

• arxiv url: http://arxiv.org/abs/2003.05182v1
• Date: Wed, 11 Mar 2020 09:29:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 13:28:43.547764
• Title: Improving Convolutional Neural Networks Via Conservative Field Regularisation and Integration
• Title（参考訳）: 保守的場正規化と統合による畳み込みニューラルネットワークの改善
• Authors: Dominique Beaini, Sofiane Achiche, Maxime Raison
• Abstract要約: グリーン関数 (GF) は、保守的かつ物理的に解釈可能であることを強制することによって、2Dまたは3D特徴空間を規則化する最初の操作である。 その結果、このような正規化により、ネットワークはより速く学習でき、スムーズなトレーニング曲線を持ち、パラメータを加味せずにより一般化できることがわかった。
• 参考スコア（独自算出の注目度）: 3.5665681694253903
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Current research in convolutional neural networks (CNN) focuses mainly on changing the architecture of the networks, optimizing the hyper-parameters and improving the gradient descent. However, most work use only 3 standard families of operations inside the CNN, the convolution, the activation function, and the pooling. In this work, we propose a new family of operations based on the Green's function of the Laplacian, which allows the network to solve the Laplacian, to integrate any vector field and to regularize the field by forcing it to be conservative. Hence, the Green's function (GF) is the first operation that regularizes the 2D or 3D feature space by forcing it to be conservative and physically interpretable, instead of regularizing the norm of the weights. Our results show that such regularization allows the network to learn faster, to have smoother training curves and to better generalize, without any additional parameter. The current manuscript presents early results, more work is required to benchmark the proposed method.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)の現在の研究は、主にネットワークのアーキテクチャの変更、ハイパーパラメータの最適化、勾配降下の改善に焦点を当てている。 しかし、ほとんどの作業ではcnn内部の操作、畳み込み、アクティベーション関数、プールの3つの標準ファミリーしか使用していない。 本研究では,ラプラシアンのグリーン関数に基づく新たな演算系を提案する。これはネットワークがラプラシアンを解くことを可能とし,任意のベクトル場を積分し,それを保守的に強制することで場を規則化する。 従って、グリーン関数(GF)は、重みのノルムを正規化するのではなく、保守的かつ物理的に解釈可能であるように強制することによって、2Dまたは3D特徴空間を正則化する最初の演算である。 このような正規化により、ネットワークはより高速に学習でき、よりスムーズなトレーニング曲線を持ち、パラメータを追加せずにより一般化できる。 現在の写本は早期の結果を示し、提案手法のベンチマークにはさらなる作業が必要である。

関連論文リスト

• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Consensus Function from an $L_p^q-$norm Regularization Term for its Use as Adaptive Activation Functions in Neural Networks [0.0]
  本稿では,学習過程においてその形状に適応する暗黙的,パラメトリックな非線形活性化関数の定義と利用を提案する。 この事実は、ネットワーク内で最適化するパラメータの空間を増大させるが、柔軟性を高め、ニューラルネットワークの概念を一般化する。 予備的な結果は、この種の適応的アクティベーション関数によるニューラルネットワークの使用は、回帰や分類の例における誤差を減少させることを示している。
  論文  参考訳（メタデータ） (2022-06-30T04:48:14Z)
• Learning Smooth Neural Functions via Lipschitz Regularization [92.42667575719048]
  ニューラルフィールドにおけるスムーズな潜伏空間を促進するために設計された新しい正規化を導入する。 従来のリプシッツ正規化ネットワークと比較して、我々のアルゴリズムは高速で、4行のコードで実装できる。
  論文  参考訳（メタデータ） (2022-02-16T21:24:54Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Power Flow Balancing with Decentralized Graph Neural Networks [4.812718493682454]
  汎用グリッド内の電力フローのバランスをとるために,グラフニューラルネットワーク(GNN)に基づくエンドツーエンドフレームワークを提案する。 提案するフレームワークは,ディープラーニングに基づく他の解法と比較して効率的であり,グリッドコンポーネントの物理量だけでなくトポロジにも頑健である。
  論文  参考訳（メタデータ） (2021-11-03T12:14:56Z)
• Orthogonal Graph Neural Networks [53.466187667936026]
  グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
  論文  参考訳（メタデータ） (2021-09-23T12:39:01Z)
• Gradient Centralization: A New Optimization Technique for Deep Neural Networks [74.935141515523]
  勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。 GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。 GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
  論文  参考訳（メタデータ） (2020-04-03T10:25:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。