論文の概要: Advancing Constrained Monotonic Neural Networks: Achieving Universal Approximation Beyond Bounded Activations

• arxiv url: http://arxiv.org/abs/2505.02537v1
• Date: Mon, 05 May 2025 10:18:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.647832
• Title: Advancing Constrained Monotonic Neural Networks: Achieving Universal Approximation Beyond Bounded Activations
• Title（参考訳）: 制約付きモノトニックニューラルネットワークの強化:境界活性化を超えた普遍近似を実現する
• Authors: Davide Sartor, Alberto Sinigaglia, Gian Antonio Susto,
• Abstract要約: 凸モノトン活性化と非正の制約重みが普遍近似器として有効であることを示す。 重みの符号に応じてネットワークの活性化を調整できる別の定式化を提案する。
• 参考スコア（独自算出の注目度）: 4.659033572014701
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional techniques for imposing monotonicity in MLPs by construction involve the use of non-negative weight constraints and bounded activation functions, which pose well-known optimization challenges. In this work, we generalize previous theoretical results, showing that MLPs with non-negative weight constraint and activations that saturate on alternating sides are universal approximators for monotonic functions. Additionally, we show an equivalence between the saturation side in the activations and the sign of the weight constraint. This connection allows us to prove that MLPs with convex monotone activations and non-positive constrained weights also qualify as universal approximators, in contrast to their non-negative constrained counterparts. Our results provide theoretical grounding to the empirical effectiveness observed in previous works while leading to possible architectural simplification. Moreover, to further alleviate the optimization difficulties, we propose an alternative formulation that allows the network to adjust its activations according to the sign of the weights. This eliminates the requirement for weight reparameterization, easing initialization and improving training stability. Experimental evaluation reinforces the validity of the theoretical results, showing that our novel approach compares favourably to traditional monotonic architectures.
• Abstract（参考訳）: 建設によるMLPの単調性を示す従来の手法は、非負の重み制約と有界活性化関数を用いることで、よく知られた最適化問題を引き起こす。 本研究では,非負の重み制約と交互に飽和する活性化を持つMLPが単調関数の普遍近似器であることを示す。 さらに,活性化時の飽和側と重み制約の符号との等価性を示す。 この接続により、凸モノトン活性化と非正の制約重みを持つMLPが、非負の制約重みを持つものと対照的に、普遍近似子であることを示すことができる。 本研究は, 先行研究で観測された経験的有効性に関する理論的根拠を提供するとともに, 構造的単純化の可能性が示唆された。 さらに、最適化の難しさをさらに緩和するために、重みの符号に従ってネットワークの活性化を調整するための代替の定式化を提案する。 これにより、重量再パラメータ化の必要がなくなり、初期化が緩和され、トレーニング安定性が向上する。 実験により理論結果の有効性が向上し,従来のモノトニックアーキテクチャと比較した。

関連論文リスト

• Convergence Bound and Critical Batch Size of Muon Optimizer [1.2289361708127877]
  4つの実践的な設定にまたがって、Muon の収束証明を提供する。 重み付け崩壊の付加は、より厳密な理論的境界をもたらすことを示す。 トレーニングの計算コストを最小限に抑えた,Muonのクリティカルバッチサイズを導出する。
  論文  参考訳（メタデータ） (2025-07-02T11:03:13Z)
• Symmetric Pruning of Large Language Models [61.309982086292756]
  Wanda や RIA のような訓練後プルニングの手法は、シンプルだが効果的な設計で知られている。 本稿では, プルーニングの標準最小化目標を再定義する新たな理論的知見を紹介する。 本稿では,入力アクティベーションと重みの両面を考慮した補完戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-31T09:23:06Z)
• BoA: Attention-aware Post-training Quantization without Backpropagation [11.096116957844014]
  トレーニング後の量子化(PTQ)は、リソース制約のあるデバイスに大規模言語モデル(LLM)をデプロイするための有望なソリューションである。 階層間依存関係を考慮し整数重みを最適化する新しいバックプロパゲーションフリーPTQアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-19T11:53:21Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Convex Latent-Optimized Adversarial Regularizers for Imaging Inverse Problems [8.33626757808923]
  本稿では,新しいデータ駆動型パラダイムであるConvex Latent-d Adrial Regularizers (CLEAR)を紹介する。 CLEARは、ディープラーニング(DL)と変分正規化の融合を表す。 本手法は従来型のデータ駆動手法と従来型の正規化手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2023-09-17T12:06:04Z)
• Regularizing with Pseudo-Negatives for Continual Self-Supervised Learning [62.40718385934608]
  効果的な継続型自己教師型学習(CSSL)のためのPNR(Pseudo-Negative Regularization)フレームワークを提案する。 我々のPNRは,新たに学習した表現が過去の学習と矛盾しないように,モデルに基づく拡張によって得られた擬陰性情報を活用する。
  論文  参考訳（メタデータ） (2023-06-08T10:59:35Z)
• No-Regret Constrained Bayesian Optimization of Noisy and Expensive Hybrid Models using Differentiable Quantile Function Approximations [0.0]
  Constrained Upper Quantile Bound (CUQB) は、制約近似を避けるための概念的に単純で決定論的アプローチである。 CUQBは制約のある場合と制約のない場合の両方において従来のベイズ最適化よりも著しく優れることを示す。
  論文  参考訳（メタデータ） (2023-05-05T19:57:36Z)
• Hard Negative Sampling via Regularized Optimal Transport for Contrastive Representation Learning [13.474603286270836]
  本研究では、教師なしコントラスト表現学習のためのハードネガティブサンプリング分布の設計問題について検討する。 本稿では,最大(Worst-case)一般化されたコントラスト学習損失を最小限に抑える表現を求める新しいmin-maxフレームワークの提案と解析を行う。
  論文  参考訳（メタデータ） (2021-11-04T21:25:24Z)
• Matrix Completion with Model-free Weighting [11.575213244422219]
  一般の非一様欠落構造の下での行列完備化手法を提案する。 我々は、観察確率を明示的にモデル化することなく、経験的リスクの非均一性を積極的に調整できる重みを構築した。 提案した重み付き経験的リスクの回復行列は、理論的な保証を魅力的に享受する。
  論文  参考訳（メタデータ） (2021-06-09T06:28:20Z)
• Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
  テンソルの合同ベンチマークとクラスタリングの問題を考察する。 本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-15T21:06:16Z)
• Imitation with Neural Density Models [98.34503611309256]
  本稿では,Imitation Occupancy Entropy Reinforcement Learning (RL) を報奨として,専門家の占有率の密度推定によるImitation Learning (IL) の新しい枠組みを提案する。 提案手法は,専門家の占有率と模倣者の占有率の逆Kulback-Leibler偏差を確実に低くする非逆モデル自由RLの目的を最大化する。
  論文  参考訳（メタデータ） (2020-10-19T19:38:36Z)
• Reintroducing Straight-Through Estimators as Principled Methods for Stochastic Binary Networks [85.94999581306827]
  2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。 多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。 同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
  論文  参考訳（メタデータ） (2020-06-11T23:58:18Z)
• Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
  本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。 MVSCに適合する新しい構造テンソル低ランクノルムを設計する。 提案手法は最先端の手法よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-30T11:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。