論文の概要: Principled Weight Initialisation for Input-Convex Neural Networks

• arxiv url: http://arxiv.org/abs/2312.12474v1
• Date: Tue, 19 Dec 2023 10:36:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 18:26:25.840597
• Title: Principled Weight Initialisation for Input-Convex Neural Networks
• Title（参考訳）: 入力凸ニューラルネットワークの原理的重み初期化
• Authors: Pieter-Jan Hoedt and G\"unter Klambauer
• Abstract要約: 入力-凸ニューラルネットワーク(ICNN)は、入力-出力マッピングにおける凸性を保証する。 中心重みを暗黙的に仮定する以前の初期化戦略は、ICNNには有効ではない。 我々は、ICNNにおける学習を効果的に促進し、より良い一般化につながることを示す。
• 参考スコア（独自算出の注目度）: 1.949679629562811
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Input-Convex Neural Networks (ICNNs) are networks that guarantee convexity in their input-output mapping. These networks have been successfully applied for energy-based modelling, optimal transport problems and learning invariances. The convexity of ICNNs is achieved by using non-decreasing convex activation functions and non-negative weights. Because of these peculiarities, previous initialisation strategies, which implicitly assume centred weights, are not effective for ICNNs. By studying signal propagation through layers with non-negative weights, we are able to derive a principled weight initialisation for ICNNs. Concretely, we generalise signal propagation theory by removing the assumption that weights are sampled from a centred distribution. In a set of experiments, we demonstrate that our principled initialisation effectively accelerates learning in ICNNs and leads to better generalisation. Moreover, we find that, in contrast to common belief, ICNNs can be trained without skip-connections when initialised correctly. Finally, we apply ICNNs to a real-world drug discovery task and show that they allow for more effective molecular latent space exploration.
• Abstract（参考訳）: input-convex neural network(icnn)は、入出力マッピングにおける凸性を保証するネットワークである。 これらのネットワークはエネルギーベースのモデリング、最適輸送問題、学習不変性にうまく適用されている。 ICNNの凸性は、非減少凸活性化関数と非負重みを用いて達成される。 これらの特異性のため、暗黙的に重みを仮定する以前の初期化戦略はICNNには有効ではない。 非負の重みを持つ層を通る信号伝搬を研究することにより、ICNNの原理的な重み初期化を導出することができる。 具体的には,重みが中心分布からサンプリングされるという仮定を取り除いて,信号伝搬理論を一般化する。 実験では,ICNNの学習を効果的に促進し,より優れた一般化につながることを実証した。 さらに、ICNNは、一般的な信念とは対照的に、初期化時にスキップ接続なしで訓練できることがわかった。 最後に、ICNNを現実世界の薬物発見タスクに適用し、より効果的な分子潜在宇宙探査を可能にすることを示す。

関連論文リスト

• Deep activity propagation via weight initialization in spiking neural networks [10.69085409825724]
  Spiking Neural Networks (SNN)は、スパーシリティや超低消費電力といったバイオインスパイアされた利点を提供する。 ディープSNNは、実数値膜電位をバイナリスパイクに量子化することで、情報を処理し、伝達する。 提案手法は, 従来の手法とは異なり, スパイクの損失を伴わずに, 深部SNNにおける活動の伝播を可能にすることを理論的に示す。
  論文  参考訳（メタデータ） (2024-10-01T11:02:34Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Artificial to Spiking Neural Networks Conversion for Scientific Machine Learning [24.799635365988905]
  物理インフォームドニューラルネットワーク(PINN)をスパイキングニューラルネットワーク(SNN)に変換する手法を提案する。 SNNは従来のニューラルネットワーク(ANN)と比較してエネルギー効率が高いと期待されている
  論文  参考訳（メタデータ） (2023-08-31T00:21:27Z)
• A Unified Weight Initialization Paradigm for Tensorial Convolutional Neural Networks [17.71332705005499]
  畳み込みニューラルネットワーク(TCNN)は、モデルパラメータの削減や能力向上に力を入れている。 TCNNの探索は、重量浄化法でも妨げられる。 本稿では,Xavier と Kaiming の手法を一般化し,任意の TCNN に適用可能なユニバーサルウェイトクリーンアップパラダイムを提案する。 我々のパラダイムはTCNNのトレーニングを安定させ、より高速な収束とより良い結果をもたらす。
  論文  参考訳（メタデータ） (2022-05-28T13:31:24Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Extended critical regimes of deep neural networks [0.0]
  重み付き重みは、微調整パラメータを使わずに、拡張臨界状態の出現を可能にすることを示す。 この拡張クリティカルレジームでは、DNNは層間のリッチで複雑な伝播ダイナミクスを示す。 効率的なニューラルアーキテクチャの設計のための理論的ガイドを提供する。
  論文  参考訳（メタデータ） (2022-03-24T10:15:50Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。