論文の概要: Hard-Constrained Neural Networks with Universal Approximation Guarantees

• arxiv url: http://arxiv.org/abs/2410.10807v1
• Date: Mon, 14 Oct 2024 17:59:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 19:24:59.014696
• Title: Hard-Constrained Neural Networks with Universal Approximation Guarantees
• Title（参考訳）: ユニバーサル近似保証付きハードコントラストニューラルネットワーク
• Authors: Youngjae Min, Anoopkumar Sonar, Navid Azizan,
• Abstract要約: HardNetは、モデルキャパシティを犠牲にすることなく、本質的に厳しい制約を満たすニューラルネットワークを構築するためのフレームワークである。 ニューラルネットワークの普遍近似能力はHardNetが保持していることを示す。
• 参考スコア（独自算出の注目度）: 5.3663546125491735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Incorporating prior knowledge or specifications of input-output relationships into machine learning models has gained significant attention, as it enhances generalization from limited data and leads to conforming outputs. However, most existing approaches use soft constraints by penalizing violations through regularization, which offers no guarantee of constraint satisfaction -- an essential requirement in safety-critical applications. On the other hand, imposing hard constraints on neural networks may hinder their representational power, adversely affecting performance. To address this, we propose HardNet, a practical framework for constructing neural networks that inherently satisfy hard constraints without sacrificing model capacity. Specifically, we encode affine and convex hard constraints, dependent on both inputs and outputs, by appending a differentiable projection layer to the network's output. This architecture allows unconstrained optimization of the network parameters using standard algorithms while ensuring constraint satisfaction by construction. Furthermore, we show that HardNet retains the universal approximation capabilities of neural networks. We demonstrate the versatility and effectiveness of HardNet across various applications: fitting functions under constraints, learning optimization solvers, optimizing control policies in safety-critical systems, and learning safe decision logic for aircraft systems.
• Abstract（参考訳）: 機械学習モデルにインプット・アウトプット関係の事前の知識や仕様を組み込むことは、限られたデータからの一般化を高め、出力の適合につながるため、大きな注目を集めている。 しかし、既存のほとんどのアプローチは、規則化によって違反を罰することでソフトな制約を使用する。 一方、ニューラルネットワークに厳しい制約を課すことは、表現力を妨げる可能性があり、性能に悪影響を及ぼす。 これを解決するために、モデル容量を犠牲にすることなく、本質的に制約を満たすニューラルネットワークを構築するための実践的なフレームワークであるHardNetを提案する。 具体的には、ネットワークの出力に微分可能なプロジェクション層を付加することにより、入力と出力の両方に依存するアフィンと凸のハード制約を符号化する。 このアーキテクチャは、構築による制約満足度を確保しつつ、標準アルゴリズムを用いてネットワークパラメータの制約のない最適化を可能にする。 さらに,HardNetはニューラルネットワークの普遍近似能力を保っていることを示す。 本稿では,制約下での関数の適合,最適化問題の学習,安全クリティカルシステムにおける制御ポリシの最適化,航空機システムに対する安全な決定ロジックの学習など,さまざまな応用におけるHardNetの汎用性と有効性を示す。

関連論文リスト

• Learning to Solve Combinatorial Optimization under Positive Linear Constraints via Non-Autoregressive Neural Networks [103.78912399195005]
  組合せ最適化(英: Combinatorial Optimization、CO)は、計算機科学、応用数学などにおける基本的な問題である。 本稿では, 正線形制約下でのCO問題の解法として, 非自己回帰ニューラルネットワーク群を設計する。 本研究では,施設位置,最大被覆率,旅行セールスマン問題を含む代表的CO問題の解決において,この枠組みの有効性を検証する。
  論文  参考訳（メタデータ） (2024-09-06T14:58:31Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
  我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。 制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。 私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
  論文  参考訳（メタデータ） (2023-06-15T08:33:52Z)
• Power Control with QoS Guarantees: A Differentiable Projection-based Unsupervised Learning Framework [14.518558523319518]
  NPハード無線リソース割り当て問題を解決する潜在的なソリューションとして、ディープニューラルネットワーク(DNN)が登場している。 マルチユーザチャネルにおける古典的電力制御問題を解決するために,教師なし学習フレームワークを提案する。 提案手法は,データレートを向上するだけでなく,既存の計算に比べて制約違反の確率をゼロにすることを示す。
  論文  参考訳（メタデータ） (2023-05-31T14:11:51Z)
• DeepSaDe: Learning Neural Networks that Guarantee Domain Constraint Satisfaction [8.29487992932196]
  本稿では,ニューラルネットワークを訓練し,様々な制約を課し,その制約が全ての可能な予測によって満たされることを保証するアプローチを提案する。 私たちのアプローチは、さまざまなドメイン制約を強制するのに十分な柔軟性があり、ニューラルネットワークでそれらを保証できます。
  論文  参考訳（メタデータ） (2023-03-02T10:40:50Z)
• Constrained Empirical Risk Minimization: Theory and Practice [2.4934936799100034]
  本稿では,Deep Neural Networks (DNN) などのパラメータ化された関数集合に対する制約の厳格化を可能にするフレームワークを提案する。 我々は、幾何学的深層学習で使用される同変ネットワークの範囲外にある制約に焦点を当てる。 このフレームワークの主な例として、畳み込みニューラルネットワーク(CNN)のフィルタをウェーブレットに制限し、これらのウェーブレットネットワークを医療領域における輪郭予測のタスクに適用する。
  論文  参考訳（メタデータ） (2023-02-09T16:11:58Z)
• Unsupervised Optimal Power Flow Using Graph Neural Networks [172.33624307594158]
  グラフニューラルネットワークを用いて、要求された電力と対応するアロケーションとの間の非線形パラメトリゼーションを学習する。 シミュレーションを通して、この教師なし学習コンテキストにおけるGNNの使用は、標準解法に匹敵するソリューションにつながることを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:30:09Z)
• Risk-Awareness in Learning Neural Controllers for Temporal Logic Objectives [2.047329787828792]
  閉ループ系が一定の制約を満たすような不確実性が存在する場合の制御器の問題を考える。 制御障壁関数(CBF)の枠組みを利用して,STL目的のCBFをアルゴリズム的に取得する。 クワッドロータや一輪車のような非線形制御のよく知られた難解な例に対して,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-14T00:49:08Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• An Integer Linear Programming Framework for Mining Constraints from Data [81.60135973848125]
  データから制約をマイニングするための一般的なフレームワークを提案する。 特に、構造化された出力予測の推論を整数線形プログラミング(ILP)問題とみなす。 提案手法は,9×9のスドクパズルの解法を学習し,基礎となるルールを提供することなく,例からツリー問題を最小限に分散させることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-18T20:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。