論文の概要: Fixed Points of Cone Mapping with the Application to Neural Networks

• arxiv url: http://arxiv.org/abs/2207.09947v1
• Date: Wed, 20 Jul 2022 14:43:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 14:26:13.084721
• Title: Fixed Points of Cone Mapping with the Application to Neural Networks
• Title（参考訳）: コーンマッピングの固定点とニューラルネットワークへの応用
• Authors: Grzegorz Gabor and Krzysztof Rykaczewski
• Abstract要約: 関数のスケーラビリティを仮定することなく、コーン写像の固定点の存在条件を導出する。 特定の非負のデータの場合、写像が非負であれば、非負の重みしか持たないとは言い切れない。
• 参考スコア（独自算出の注目度）: 1.0660480034605242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We derive conditions for the existence of fixed points of cone mappings without assuming scalability of functions. Monotonicity and scalability are often inseparable in the literature in the context of searching for fixed points of interference mappings. In applications, such mappings are approximated by non-negative neural networks. It turns out, however, that the process of training non-negative networks requires imposing an artificial constraint on the weights of the model. However, in the case of specific non-negative data, it cannot be said that if the mapping is non-negative, it has only non-negative weights. Therefore, we considered the problem of the existence of fixed points for general neural networks, assuming the conditions of tangency conditions with respect to specific cones. This does not relax the physical assumptions, because even assuming that the input and output are to be non-negative, the weights can have (small, but) less than zero values. Such properties (often found in papers on the interpretability of weights of neural networks) lead to the weakening of the assumptions about the monotonicity or scalability of the mapping associated with the neural network. To the best of our knowledge, this paper is the first to study this phenomenon.
• Abstract（参考訳）: 関数のスケーラビリティを仮定することなく、コーン写像の固定点の存在条件を導出する。 モノトニック性とスケーラビリティは、干渉マッピングの固定点を探索する文脈において、文献では分離できないことが多い。 アプリケーションでは、そのようなマッピングは非負のニューラルネットワークによって近似される。 しかし、非負のネットワークをトレーニングする過程は、モデルの重みに人工的な制約を与える必要があることが判明した。 しかし、特定の非負データの場合、写像が非負の場合には非負の重みしか持たないと言うことはできない。 そこで我々は,特定の錐体に対するタンジェンシ条件を前提として,一般ニューラルネットワークにおける固定点の存在の問題を検討した。 これは、入力と出力が非負であると仮定しても、重みはゼロ値以下(小さいが)を持つことができるため、物理的な仮定を緩和しない。 このような特性(しばしばニューラルネットワークの重みの解釈可能性に関する論文に見られる)は、ニューラルネットワークに関連するマッピングの単調性やスケーラビリティに関する仮定の弱体化につながる。 私たちの知る限りでは、この現象を研究するのは本論文が初めてです。

関連論文リスト

• Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
  ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。 本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2024-03-25T19:39:17Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Non-Vacuous Generalisation Bounds for Shallow Neural Networks [5.799808780731661]
  我々は、単一の隠蔽層を持つ特定の種類の浅いニューラルネットワークに焦点を当てる。 我々はPAC-ベイジアン理論を通じて新しい一般化を導出する。 ネットワークがMNISTとFashion-MNISTのバニラ勾配勾配降下で訓練される場合,我々の限界は経験的に非空洞である。
  論文  参考訳（メタデータ） (2022-02-03T14:59:51Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Nonperturbative renormalization for the neural network-QFT correspondence [0.0]
  この文脈で局所性とパワーカウンティングの概念を考察する。 Wetterich-Morris方程式を用いて非摂動的再正規化群を解析する。 我々の目的は、大きな幅の限界を超えたニューラルネットワークの振る舞いを調査するための有用なフォーマリズムを提供することである。
  論文  参考訳（メタデータ） (2021-08-03T10:36:04Z)
• Fixed points of nonnegative neural networks [6.7113569772720565]
  まず、非負の重みとバイアスを持つ非負のニューラルネットワークは、モノトニックで(弱く)スケーラブルなマッピングとして認識できることを示す。 非負の重みとバイアスを持つ非負のニューラルネットワークの固定点集合の形状が間隔であることを証明する。
  論文  参考訳（メタデータ） (2021-06-30T17:49:55Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
  モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。 非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-09T16:48:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。