論文の概要: CDiNN -Convex Difference Neural Networks
- arxiv url: http://arxiv.org/abs/2103.17231v1
- Date: Wed, 31 Mar 2021 17:31:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 14:18:03.464980
- Title: CDiNN -Convex Difference Neural Networks
- Title（参考訳）: CDiNN-凸差ニューラルネットワーク
- Authors: Parameswaran Sankaranarayanan and Raghunathan Rengaswamy
- Abstract要約: reluアクティベーション関数を持つニューラルネットワークは、普遍関数近似が非スムース関数として関数マッピングを学ぶことが示されている。
ICNNと呼ばれる新しいニューラルネットワークアーキテクチャは、凸入力として出力を学習する。
- 参考スコア（独自算出の注目度）: 0.8122270502556374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks with ReLU activation function have been shown to be universal
function approximators and learn function mapping as non-smooth functions.
Recently, there is considerable interest in the use of neural networks in
applications such as optimal control. It is well-known that optimization
involving non-convex, non-smooth functions are computationally intensive and
have limited convergence guarantees. Moreover, the choice of optimization
hyper-parameters used in gradient descent/ascent significantly affect the
quality of the obtained solutions. A new neural network architecture called the
Input Convex Neural Networks (ICNNs) learn the output as a convex function of
inputs thereby allowing the use of efficient convex optimization methods. Use
of ICNNs for determining the input for minimizing output has two major
problems: learning of a non-convex function as a convex mapping could result in
significant function approximation error, and we also note that the existing
representations cannot capture simple dynamic structures like linear time delay
systems. We attempt to address the above problems by introduction of a new
neural network architecture, which we call the CDiNN, which learns the function
as a difference of polyhedral convex functions from data. We also discuss that,
in some cases, the optimal input can be obtained from CDiNN through difference
of convex optimization with convergence guarantees and that at each iteration,
the problem is reduced to a linear programming problem.
- Abstract（参考訳）: ReLU活性化関数を持つニューラルネットワークは、普遍関数近似器であり、非滑らか関数として関数マッピングを学ぶことが示されている。
近年,最適制御など応用におけるニューラルネットワークの利用にかなりの関心が寄せられている。
非凸、非滑らかな関数を含む最適化が計算集約であり、収束保証が限られていることはよく知られている。
さらに,勾配降下・上昇に使用する最適化ハイパーパラメータの選択は,得られた溶液の品質に大きく影響した。
input convex neural network (icnns)と呼ばれる新しいニューラルネットワークアーキテクチャは、入力の凸関数として出力を学習し、効率的な凸最適化方法を可能にする。
非凸関数を凸写像として学習することは、重要な関数近似誤差をもたらす可能性があり、既存の表現は線形時間遅延システムのような単純な動的構造をキャプチャできないことに注意する。
そこで本研究では,多面体凸関数とデータとの差として関数を学習する新しいニューラルネットワークアーキテクチャcdinnを導入することで,上記の問題に対処することを試みる。
また,収束保証を伴う凸最適化の差によってcdinnから最適入力が得られる場合や,各イテレーションにおいて線形計画問題に還元される場合などについて考察する。
関連論文リスト
- Enhancing GNNs Performance on Combinatorial Optimization by Recurrent Feature Update [0.09986418756990156]
本稿では,組合せ最適化(CO)問題を効率よく解くために,GNNのパワーを活用して,QRF-GNNと呼ぶ新しいアルゴリズムを提案する。
QUBO緩和による損失関数の最小化による教師なし学習に依存している。
実験の結果、QRF-GNNは既存の学習ベースアプローチを大幅に上回り、最先端の手法に匹敵することがわかった。
論文 参考訳（メタデータ） (2024-07-23T13:34:35Z) - Nonlinear functional regression by functional deep neural network with
kernel embedding [20.306390874610635]
本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。
機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。
スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
論文 参考訳（メタデータ） (2024-01-05T16:43:39Z) - The limitation of neural nets for approximation and optimization [0.0]
最適化問題における目的関数の近似と最小化のために,ニューラルネットワークを代理モデルとして用いることに関心がある。
本研究は、一般的な非線形最適化テスト問題の目的関数を近似する最適なアクティベーション関数を決定することから始まる。
論文 参考訳（メタデータ） (2023-11-21T00:21:15Z) - Linearization of ReLU Activation Function for Neural Network-Embedded
Optimization:Optimal Day-Ahead Energy Scheduling [0.2900810893770134]
電池劣化ニューラルネットワークに基づくマイクログリッドデイアヘッドエネルギースケジューリングのような応用では、訓練された学習モデルの入力特徴は最適化モデルで解決すべき変数である。
ニューラルネットワークにおける非線形アクティベーション関数の使用は、解けなければそのような問題を極端に解決し難いものにする。
本稿では, 非線形活性化関数を, 広く用いられている整流線形単位(ReLU)関数に着目して線形化する方法について検討した。
論文 参考訳（メタデータ） (2023-10-03T02:47:38Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。
具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。
提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
論文 参考訳（メタデータ） (2023-01-21T04:08:46Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳（メタデータ） (2022-02-13T10:54:59Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - A Dynamical View on Optimization Algorithms of Overparameterized Neural
Networks [23.038631072178735]
我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。
その結果、ニューラルネットワークの収束挙動を利用することができる。
このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
論文 参考訳（メタデータ） (2020-10-25T17:10:22Z) - Channel Assignment in Uplink Wireless Communication using Machine
Learning Approach [54.012791474906514]
本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。
我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。
計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
論文 参考訳（メタデータ） (2020-01-12T15:54:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。