論文の概要: Partition-based formulations for mixed-integer optimization of trained ReLU neural networks

• arxiv url: http://arxiv.org/abs/2102.04373v1
• Date: Mon, 8 Feb 2021 17:27:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 15:49:47.366779
• Title: Partition-based formulations for mixed-integer optimization of trained ReLU neural networks
• Title（参考訳）: トレーニングされたReLUニューラルネットワークの混合整数最適化のための分割型定式化
• Authors: Calvin Tsay and Jan Kronqvist and Alexander Thebelt and Ruth Misener
• Abstract要約: 本稿では,訓練されたReLUニューラルネットワークのための混合整数式について紹介する。 1つの極端な場合、入力毎に1つのパーティションがノードの凸殻、すなわち各ノードの最も厳密な可能な定式化を回復する。
• 参考スコア（独自算出の注目度）: 66.88252321870085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a class of mixed-integer formulations for trained ReLU neural networks. The approach balances model size and tightness by partitioning node inputs into a number of groups and forming the convex hull over the partitions via disjunctive programming. At one extreme, one partition per input recovers the convex hull of a node, i.e., the tightest possible formulation for each node. For fewer partitions, we develop smaller relaxations that approximate the convex hull, and show that they outperform existing formulations. Specifically, we propose strategies for partitioning variables based on theoretical motivations and validate these strategies using extensive computational experiments. Furthermore, the proposed scheme complements known algorithmic approaches, e.g., optimization-based bound tightening captures dependencies within a partition.
• Abstract（参考訳）: 本稿では,訓練されたreluニューラルネットワークのための混合整数式を提案する。 このアプローチは、ノード入力を複数のグループに分割することでモデルのサイズとタイトさをバランスさせ、断続的プログラミングによって分割上の凸包を形成する。 1つの極端な場合、入力毎に1つのパーティションがノードの凸殻、すなわち各ノードの最も厳密な可能な定式化を回復する。 より少ない分割のために、凸殻を近似するより小さな緩和を開発し、既存の定式化よりも優れていることを示す。 具体的には,理論的な動機に基づく変数分割戦略を提案し,この戦略を広範な計算実験を用いて検証する。 さらに、提案手法は既知のアルゴリズム的アプローチを補完し、例えば最適化に基づく境界締め付けはパーティション内の依存関係をキャプチャする。

関連論文リスト

• Achieving Sample and Computational Efficient Reinforcement Learning by Action Space Reduction via Grouping [7.691755449724638]
  強化学習は、しばしば高次元空間における状態や行動の指数的な成長に対処する必要がある。 我々は、動作に類似したMDPの固有の構造を学び、性能劣化とサンプル/計算の複雑さを適切にバランスさせる。
  論文  参考訳（メタデータ） (2023-06-22T15:40:10Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Probabilistic partition of unity networks for high-dimensional regression problems [1.0227479910430863]
  我々は高次元回帰問題におけるユニタリネットワーク(PPOU-Net)モデルの分割について検討する。 本稿では適応次元の減少に着目した一般的な枠組みを提案する。 PPOU-Netsは、数値実験において、同等の大きさのベースライン完全接続ニューラルネットワークを一貫して上回っている。
  論文  参考訳（メタデータ） (2022-10-06T06:01:36Z)
• P-split formulations: A class of intermediate formulations between big-M and convex hull for disjunctive constraints [6.258016078705562]
  P-スプリット」の定式化は、各不定形内の凸制約を伴う不定形制約に対して導出される。 P-スプリットの定式化は、大質量M等式から始まり、凸殻に収束する階層を形成する。 344 の試験インスタンス上での P-split の定式化と Big-M および convex の定式化を計算的に比較した。
  論文  参考訳（メタデータ） (2022-02-10T18:02:16Z)
• A Parallelizable Lattice Rescoring Strategy with Neural Language Models [62.20538383769179]
  自動音声認識のためのニューラルネットワークモデル(LM)を用いた効率的な格子相関のための後部格子拡張アルゴリズムを提案する。 スイッチボードデータセットにおける実験により,提案手法が同等の認識性能を得た。 PyTorchで訓練されたニューラル LM をKaldi との格子再構成に簡単に統合することで、並列再描画法により柔軟性が向上する。
  論文  参考訳（メタデータ） (2021-03-08T21:23:12Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• FedSplit: An algorithmic framework for fast federated optimization [40.42352500741025]
  本稿では,分散凸最小化を付加構造で解くアルゴリズムのクラスであるFedSplitを紹介する。 これらの手法は, 中間局所量の不正確な計算に対して, 確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-05-11T16:30:09Z)
• Model Reduction and Neural Networks for Parametric PDEs [9.405458160620533]
  無限次元空間間の入出力マップをデータ駆動で近似するフレームワークを開発した。 提案されたアプローチは、最近のニューラルネットワークとディープラーニングの成功に動機づけられている。 入力出力マップのクラスと、入力に対する適切な選択された確率測度について、提案手法の収束性を証明する。
  論文  参考訳（メタデータ） (2020-05-07T00:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。