論文の概要: Beyond NaN: Resiliency of Optimization Layers in The Face of Infeasibility

• arxiv url: http://arxiv.org/abs/2202.06242v1
• Date: Sun, 13 Feb 2022 07:48:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 18:21:37.612280
• Title: Beyond NaN: Resiliency of Optimization Layers in The Face of Infeasibility
• Title（参考訳）: NaNを超えて: 実現不可能に直面した最適化レイヤのレジリエンス
• Authors: Wai Tuck Wong, Andrew Butler, Ramesha Karunasena, Thanh Nguyen and Arunesh Sinha
• Abstract要約: 本研究では、最適化層への入力がニューラルネットワークの未定義出力につながるようなセットアップの弱点を特定する。 最適化層に供給される行列にランク不足を強制することにより、敵がそのような失敗を生じさせることを示す。 入力行列の条件数を制御することにより,故障事例の防御を行う。
• 参考スコア（独自算出の注目度）: 7.783961745760217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prior work has successfully incorporated optimization layers as the last layer in neural networks for various problems, thereby allowing joint learning and planning in one neural network forward pass. In this work, we identify a weakness in such a set-up where inputs to the optimization layer lead to undefined output of the neural network. Such undefined decision outputs can lead to possible catastrophic outcomes in critical real time applications. We show that an adversary can cause such failures by forcing rank deficiency on the matrix fed to the optimization layer which results in the optimization failing to produce a solution. We provide a defense for the failure cases by controlling the condition number of the input matrix. We study the problem in the settings of synthetic data, Jigsaw Sudoku, and in speed planning for autonomous driving, building on top of prior frameworks in end-to-end learning and optimization. We show that our proposed defense effectively prevents the framework from failing with undefined output. Finally, we surface a number of edge cases which lead to serious bugs in popular equation and optimization solvers which can be abused as well.
• Abstract（参考訳）: 先行研究は、様々な問題に対するニューラルネットワークの最終層として最適化層を組み込むことに成功し、単一のニューラルネットワークにおける共同学習と計画の前方通過を可能にした。 本研究では、最適化層への入力がニューラルネットワークの未定義出力につながるような、そのような設定の弱点を特定する。 このような未定義の決定出力は、重要なリアルタイムアプリケーションにおいて破滅的な結果をもたらす可能性がある。 本稿では,最適化層に供給される行列にランク不足を強制することにより,最適化が解を導出しないような障害を引き起こすことを示す。 入力行列の条件数を制御することにより,故障事例の防御を行う。 本研究は、総合的なデータ、jigsaw sudokuの設定や、自動運転のスピードプランニングにおける問題を、エンドツーエンドの学習と最適化のフレームワークの上に構築する。 提案した防御は,未定義の出力でフレームワークが失敗することを効果的に防ぐことを示す。 最後に、一般的な方程式や最適化の解法に深刻なバグをもたらす多くのエッジケースを提示し、同様に悪用することができる。

関連論文リスト

• An Expandable Machine Learning-Optimization Framework to Sequential Decision-Making [0.0]
  逐次的意思決定問題を効率的に解決する統合予測最適化(PredOpt)フレームワークを提案する。 本稿では,機械学習(ML)における逐次依存,実現可能性,一般化といった課題に対処し,インスタンス問題に対する最適解の予測を行う。
  論文  参考訳（メタデータ） (2023-11-12T21:54:53Z)
• Neural Quantile Optimization for Edge-Cloud Networking [13.509945075582447]
  我々は,バースト可能な請求書に基づいて制約を満足し,コストを最小化するエッジ・クラウド・コンピューティング・ネットワークにおいて,最適なトラフィック割当方式を模索する。 本稿では,教師なし学習による最適化問題を解決するため,Gumbel-softmaxサンプリングネットワークを提案する。 トレーニングされたネットワークは、効率的なトラフィック割当スキームサンプリングとして機能し、実現可能性およびコスト関数値のランダム戦略を著しく上回る。
  論文  参考訳（メタデータ） (2023-07-11T11:05:10Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Combinatorial Optimization with Physics-Inspired Graph Neural Networks [0.0]
  最適化問題の解法としてグラフニューラルネットワークを用いる方法を示す。 ニューラルネットワークは、既存の解法よりも優れているか、あるいは優れていることが分かりました。
  論文  参考訳（メタデータ） (2021-07-02T16:54:35Z)
• What can linear interpolation of neural network loss landscapes tell us? [11.753360538833139]
  ロスランドスケープは、人間が理解しやすい方法で可視化することが非常に難しいことで知られています。 この問題に対処する一般的な方法は、ランドスケープの線形スライスをプロットすることである。
  論文  参考訳（メタデータ） (2021-06-30T11:54:04Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation [101.22379613810881]
  データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。 この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。 我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:04:27Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Recurrent Neural Networks for Stochastic Control Problems with Delay [0.76146285961466]
  遅延機能を有する制御問題を解くために,ディープニューラルネットワークに基づくアルゴリズムを提案し,体系的に検討する。 具体的には,ポリシをパラメータ化し,目的関数を最適化するために,シーケンスモデリングにニューラルネットワークを用いる。 提案アルゴリズムは, 線形二乗問題, 有限遅延の最適消費, 完全メモリのポートフォリオ最適化の3つのベンチマーク例で検証した。
  論文  参考訳（メタデータ） (2021-01-05T07:18:47Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)
• Optimizing Wireless Systems Using Unsupervised and Reinforced-Unsupervised Deep Learning [96.01176486957226]
  無線ネットワークにおけるリソース割り当てとトランシーバーは、通常最適化問題の解決によって設計される。 本稿では,変数最適化と関数最適化の両問題を解くための教師なし・教師なし学習フレームワークを紹介する。
  論文  参考訳（メタデータ） (2020-01-03T11:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。