論文の概要: Faster Predict-and-Optimize with Davis-Yin Splitting
- arxiv url: http://arxiv.org/abs/2301.13395v2
- Date: Tue, 25 Jul 2023 13:13:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-26 21:20:39.789910
- Title: Faster Predict-and-Optimize with Davis-Yin Splitting
- Title(参考訳): Davis-Yin 分割による予測と最適化の高速化
- Authors: Daniel McKenzie, Samy Wu Fung, Howard Heaton
- Abstract要約: ニューラルネットワークを使用して$d$の予測を行う傾向がありますが、そのようなモデルのトレーニングには、ニューラルネットワークのトレーニングに使用される勾配ベースのフレームワークと、最適化の独立した性質の調整が必要です。
このアプローチを用いた既存手法は小さな問題(10-100変数)に対して非常に有効であることが示されているが、大きな問題に対してうまくスケールしない。
本研究では,最新の凸最適化から,数千の変数を扱う問題に対して無駄にスケールするネットワークとトレーニングスキームを設計するためのアイデアを導出する。
- 参考スコア(独自算出の注目度): 3.9824631668067507
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In many applications, a combinatorial problem must be repeatedly solved with
similar, but distinct parameters. Yet, the parameters $w$ are not directly
observed; only contextual data $d$ that correlates with $w$ is available. It is
tempting to use a neural network to predict $w$ given $d$, but training such a
model requires reconciling the discrete nature of combinatorial optimization
with the gradient-based frameworks used to train neural networks. When the
problem in question is an Integer Linear Program (ILP), one approach to
overcoming this issue is to consider a continuous relaxation of the
combinatorial problem. While existing methods utilizing this approach have
shown to be highly effective on small problems (10-100 variables), they do not
scale well to large problems. In this work, we draw on ideas from modern convex
optimization to design a network and training scheme which scales effortlessly
to problems with thousands of variables.
- Abstract(参考訳): 多くの応用において、組合せ問題は類似するが異なるパラメータで繰り返し解かなければならない。
しかしパラメータ$w$は直接観測されておらず、$w$と相関するコンテキストデータ$d$のみが利用可能である。
ニューラルネットワークを使用して$d$の予測を行う傾向がありますが、そのようなモデルのトレーニングには、ニューラルネットワークのトレーニングに使用される勾配ベースのフレームワークと組み合わせ最適化の独立した性質の調整が必要です。
問題となるのが整数線形計画 (ILP) の場合、この問題を克服するための一つのアプローチは、組合せ問題の継続的な緩和を考えることである。
このアプローチを用いた既存手法は小さな問題(10-100変数)に対して非常に有効であることが示されているが、大きな問題に対してうまくスケールしない。
本研究では,現代的な凸最適化から,何千もの変数を持つ問題に対して無益にスケール可能なネットワークおよびトレーニングスキームを設計する手法を提案する。
関連論文リスト
- Score-Based Methods for Discrete Optimization in Deep Learning [30.446056972242616]
このような問題を解決するためのスコアベース近似フレームワークについて検討する。
逆集合分類タスクにおいて,本手法は,手法に比べて速度と解の質において優れたトレードオフを達成できることを実験的に実証した。
論文 参考訳(メタデータ) (2023-10-15T17:14:17Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-10-08T23:39:38Z) - A stochastic optimization approach to train non-linear neural networks
with a higher-order variation regularization [3.0277213703725767]
本研究は、$(k,q)$thorder variation regularization((k,q)$-VR)を考える。
$(k,q)$-VR は、訓練対象のパラメトリックモデルの絶対$k$次微分の$q$thパワー積分として定義される。
我々の数値実験は、従来のパラメータ正規化よりも、$(k,q)$-VRで訓練されたニューラルネットワークの方が弾力性が高いことを示した。
論文 参考訳(メタデータ) (2023-08-04T12:57:13Z) - Landscape Surrogate: Learning Decision Losses for Mathematical
Optimization Under Partial Information [48.784330281177446]
学習統合最適化の最近の研究は、最適化が部分的にのみ観察される場合や、専門家のチューニングなしに汎用性が不十分な環境では有望であることを示している。
本稿では,$fcirc mathbfg$の代替として,スムーズで学習可能なランドスケープサロゲートを提案する。
このサロゲートはニューラルネットワークによって学習可能で、$mathbfg$ソルバよりも高速に計算でき、トレーニング中に密度が高く滑らかな勾配を提供し、目に見えない最適化問題に一般化でき、交互最適化によって効率的に学習される。
論文 参考訳(メタデータ) (2023-07-18T04:29:16Z) - Symmetric Tensor Networks for Generative Modeling and Constrained
Combinatorial Optimization [72.41480594026815]
ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。
これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。
本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
論文 参考訳(メタデータ) (2022-11-16T18:59:54Z) - Combinatorial optimization for low bit-width neural networks [23.466606660363016]
低ビット幅のニューラルネットワークは、計算資源を減らすためにエッジデバイスに展開するために広く研究されている。
既存のアプローチでは、2段階の列車・圧縮設定における勾配に基づく最適化に焦点が当てられている。
グリーディ座標降下法とこの新しい手法を組み合わせることで、二項分類タスクにおける競合精度が得られることを示す。
論文 参考訳(メタデータ) (2022-06-04T15:02:36Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳(メタデータ) (2021-11-25T19:59:33Z) - An efficient projection neural network for $\ell_1$-regularized logistic
regression [10.517079029721257]
本稿では, $ell_$-regularized logistics regression のための単純な投影ニューラルネットワークを提案する。
提案したニューラルネットワークは、余分な補助変数や滑らかな近似を必要としない。
また、リアプノフ理論を用いて、提案したニューラルネットワークの収束について検討し、任意の初期値を持つ問題の解に収束することを示す。
論文 参考訳(メタデータ) (2021-05-12T06:13:44Z) - On the Treatment of Optimization Problems with L1 Penalty Terms via
Multiobjective Continuation [0.0]
本稿では,線形・非線形最適化におけるスパース性の影響を詳細に把握するアルゴリズムを提案する。
本手法は非線形の場合に対する線形回帰問題に対するよく知られたホモトピー法の一般化と見なすことができる。
論文 参考訳(メタデータ) (2020-12-14T13:00:50Z) - Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。
本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。
本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-04T00:26:56Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。