論文の概要: Advancing Constrained Monotonic Neural Networks: Achieving Universal Approximation Beyond Bounded Activations

• arxiv url: http://arxiv.org/abs/2505.02537v2
• Date: Tue, 06 May 2025 11:45:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 12:42:37.973373
• Title: Advancing Constrained Monotonic Neural Networks: Achieving Universal Approximation Beyond Bounded Activations
• Title（参考訳）: 制約付きモノトニックニューラルネットワークの強化:境界活性化を超えた普遍近似を実現する
• Authors: Davide Sartor, Alberto Sinigaglia, Gian Antonio Susto,
• Abstract要約: 凸モノトン活性化と非正の制約重みが普遍近似器として有効であることを示す。 重みの符号に応じてネットワークの活性化を調整できる別の定式化を提案する。
• 参考スコア（独自算出の注目度）: 4.659033572014701
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional techniques for imposing monotonicity in MLPs by construction involve the use of non-negative weight constraints and bounded activation functions, which pose well-known optimization challenges. In this work, we generalize previous theoretical results, showing that MLPs with non-negative weight constraint and activations that saturate on alternating sides are universal approximators for monotonic functions. Additionally, we show an equivalence between the saturation side in the activations and the sign of the weight constraint. This connection allows us to prove that MLPs with convex monotone activations and non-positive constrained weights also qualify as universal approximators, in contrast to their non-negative constrained counterparts. Our results provide theoretical grounding to the empirical effectiveness observed in previous works while leading to possible architectural simplification. Moreover, to further alleviate the optimization difficulties, we propose an alternative formulation that allows the network to adjust its activations according to the sign of the weights. This eliminates the requirement for weight reparameterization, easing initialization and improving training stability. Experimental evaluation reinforces the validity of the theoretical results, showing that our novel approach compares favourably to traditional monotonic architectures.
• Abstract（参考訳）: 建設によるMLPの単調性を示す従来の手法は、非負の重み制約と有界活性化関数を用いることで、よく知られた最適化問題を引き起こす。 本研究では,非負の重み制約と交互に飽和する活性化を持つMLPが単調関数の普遍近似器であることを示す。 さらに,活性化時の飽和側と重み制約の符号との等価性を示す。 この接続により、凸モノトン活性化と非正の制約重みを持つMLPが、非負の制約重みを持つものと対照的に、普遍近似子であることを示すことができる。 本研究は, 先行研究で観測された経験的有効性に関する理論的根拠を提供するとともに, 構造的単純化の可能性が示唆された。 さらに、最適化の難しさをさらに緩和するために、重みの符号に従ってネットワークの活性化を調整するための代替の定式化を提案する。 これにより、重量再パラメータ化の必要がなくなり、初期化が緩和され、トレーニング安定性が向上する。 実験により理論結果の有効性が向上し,従来のモノトニックアーキテクチャと比較した。

関連論文リスト

• Symmetric Pruning of Large Language Models [61.309982086292756]
  Wanda や RIA のような訓練後プルニングの手法は、シンプルだが効果的な設計で知られている。 本稿では, プルーニングの標準最小化目標を再定義する新たな理論的知見を紹介する。 本稿では,入力アクティベーションと重みの両面を考慮した補完戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-31T09:23:06Z)
• BoA: Attention-aware Post-training Quantization without Backpropagation [11.096116957844014]
  トレーニング後の量子化(PTQ)は、リソース制約のあるデバイスに大規模言語モデル(LLM)をデプロイするための有望なソリューションである。 階層間依存関係を考慮し整数重みを最適化する新しいバックプロパゲーションフリーPTQアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-19T11:53:21Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Convex Latent-Optimized Adversarial Regularizers for Imaging Inverse Problems [8.33626757808923]
  本稿では,新しいデータ駆動型パラダイムであるConvex Latent-d Adrial Regularizers (CLEAR)を紹介する。 CLEARは、ディープラーニング(DL)と変分正規化の融合を表す。 本手法は従来型のデータ駆動手法と従来型の正規化手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2023-09-17T12:06:04Z)
• No-Regret Constrained Bayesian Optimization of Noisy and Expensive Hybrid Models using Differentiable Quantile Function Approximations [0.0]
  Constrained Upper Quantile Bound (CUQB) は、制約近似を避けるための概念的に単純で決定論的アプローチである。 CUQBは制約のある場合と制約のない場合の両方において従来のベイズ最適化よりも著しく優れることを示す。
  論文  参考訳（メタデータ） (2023-05-05T19:57:36Z)
• Hard Negative Sampling via Regularized Optimal Transport for Contrastive Representation Learning [13.474603286270836]
  本研究では、教師なしコントラスト表現学習のためのハードネガティブサンプリング分布の設計問題について検討する。 本稿では,最大(Worst-case)一般化されたコントラスト学習損失を最小限に抑える表現を求める新しいmin-maxフレームワークの提案と解析を行う。
  論文  参考訳（メタデータ） (2021-11-04T21:25:24Z)
• Reintroducing Straight-Through Estimators as Principled Methods for Stochastic Binary Networks [85.94999581306827]
  2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。 多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。 同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
  論文  参考訳（メタデータ） (2020-06-11T23:58:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。