論文の概要: Maximin Optimization for Binary Regression
- arxiv url: http://arxiv.org/abs/2010.05077v3
- Date: Sat, 28 Nov 2020 00:35:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 22:53:21.280592
- Title: Maximin Optimization for Binary Regression
- Title(参考訳): 二項回帰の最大最適化
- Authors: Nisan Chiprut, Amir Globerson, Ami Wiesel
- Abstract要約: 二分重の回帰問題は、量子化学習モデルやデジタル通信システムにおいてユビキタスである。
Lagrangran法はまた、非ニューラルネットワーク多層サドルポイント最適化と同様に、クロスエントロピー損失を伴う回帰でもよく機能する。
- 参考スコア(独自算出の注目度): 24.351803097593887
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider regression problems with binary weights. Such optimization
problems are ubiquitous in quantized learning models and digital communication
systems. A natural approach is to optimize the corresponding Lagrangian using
variants of the gradient ascent-descent method. Such maximin techniques are
still poorly understood even in the concave-convex case. The non-convex binary
constraints may lead to spurious local minima. Interestingly, we prove that
this approach is optimal in linear regression with low noise conditions as well
as robust regression with a small number of outliers. Practically, the method
also performs well in regression with cross entropy loss, as well as non-convex
multi-layer neural networks. Taken together our approach highlights the
potential of saddle-point optimization for learning constrained models.
- Abstract(参考訳): 二元重み付き回帰問題を考える。
このような最適化問題は、量子化学習モデルやデジタル通信システムにおいてユビキタスである。
自然なアプローチは、勾配-昇華法の変種を用いて対応するラグランジアンを最適化することである。
このような極大テクニックは、凸凸の場合でさえもまだ理解されていない。
非凸二項制約は、急激な局所最小化を引き起こす可能性がある。
興味深いことに、この手法は低雑音条件の線形回帰や、少数の外れ値を持つロバスト回帰において最適であることを示す。
実際には、非凸多層ニューラルネットワークと同様に、クロスエントロピー損失を伴う回帰でもよく機能する。
私たちのアプローチは、制約のあるモデルを学習するためのサドルポイント最適化の可能性を強調します。
関連論文リスト
- Learning Constrained Optimization with Deep Augmented Lagrangian Methods [60.94111369773497]
機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。
本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。
これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
論文 参考訳(メタデータ) (2024-03-06T04:43:22Z) - Convex Relaxations of ReLU Neural Networks Approximate Global Optima in
Polynomial Time [54.01594785269913]
本稿では, 重み劣化と凸緩和に則った2層ReLUネットワーク間の最適性ギャップについて述べる。
トレーニングデータがランダムである場合、元の問題と緩和の間の相対的な最適性ギャップは、サンプルの勾配によって境界付けられることを示す。
論文 参考訳(メタデータ) (2024-02-06T01:29:35Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - Computationally Efficient and Statistically Optimal Robust
High-Dimensional Linear Regression [15.389011827844572]
重み付き雑音や客観的腐敗の下での高テール線形回帰は、どちらも統計的に困難である。
本稿では,ノイズガウスあるいは重度1+エプシロン回帰問題に対するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-05-10T14:31:03Z) - Slowly Varying Regression under Sparsity [5.22980614912553]
本稿では, 緩やかな過度回帰の枠組みを提示し, 回帰モデルが緩やかかつスパースな変動を示すようにした。
本稿では,バイナリ凸アルゴリズムとして再構成する手法を提案する。
結果として得られたモデルは、様々なデータセット間で競合する定式化よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-02-22T04:51:44Z) - Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve
Optimism, Embrace Virtual Curvature [61.22680308681648]
決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。
非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-08T12:41:56Z) - Adaptive Sampling of Pareto Frontiers with Binary Constraints Using
Regression and Classification [0.0]
本稿では,二項制約を持つブラックボックス多目的最適化問題に対する適応最適化アルゴリズムを提案する。
本手法は確率的回帰モデルと分類モデルに基づいており,最適化目標のサロゲートとして機能する。
また,予想される超体積計算を高速化するために,新しい楕円形トランケーション法を提案する。
論文 参考訳(メタデータ) (2020-08-27T09:15:02Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳(メタデータ) (2020-06-04T21:51:21Z) - Regression via Implicit Models and Optimal Transport Cost Minimization [5.144809478361603]
条件付きGAN (CGAN) が回帰に適用されている。
現在のCGAN実装では、古典的なジェネレータ-ディスクリミネータアーキテクチャを使用している。
実確率分布$p(y|x)$と推定分布$hatp(y|x)$との間の最適輸送コストを直接最適化する解を提案する。
論文 参考訳(メタデータ) (2020-03-03T02:26:54Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。