Fugu-MT 論文翻訳(概要): Maximin Optimization for Binary Regression

論文の概要: Maximin Optimization for Binary Regression

arxiv url: http://arxiv.org/abs/2010.05077v3
Date: Sat, 28 Nov 2020 00:35:28 GMT
ステータス: 処理完了
システム内更新日: 2022-10-08 22:53:21.280592
Title: Maximin Optimization for Binary Regression
Title（参考訳）: 二項回帰の最大最適化
Authors: Nisan Chiprut, Amir Globerson, Ami Wiesel
Abstract要約: 二分重の回帰問題は、量子化学習モデルやデジタル通信システムにおいてユビキタスである。 Lagrangran法はまた、非ニューラルネットワーク多層サドルポイント最適化と同様に、クロスエントロピー損失を伴う回帰でもよく機能する。
参考スコア（独自算出の注目度）: 24.351803097593887
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider regression problems with binary weights. Such optimization problems are ubiquitous in quantized learning models and digital communication systems. A natural approach is to optimize the corresponding Lagrangian using variants of the gradient ascent-descent method. Such maximin techniques are still poorly understood even in the concave-convex case. The non-convex binary constraints may lead to spurious local minima. Interestingly, we prove that this approach is optimal in linear regression with low noise conditions as well as robust regression with a small number of outliers. Practically, the method also performs well in regression with cross entropy loss, as well as non-convex multi-layer neural networks. Taken together our approach highlights the potential of saddle-point optimization for learning constrained models.
Abstract（参考訳）: 二元重み付き回帰問題を考える。このような最適化問題は、量子化学習モデルやデジタル通信システムにおいてユビキタスである。自然なアプローチは、勾配-昇華法の変種を用いて対応するラグランジアンを最適化することである。このような極大テクニックは、凸凸の場合でさえもまだ理解されていない。非凸二項制約は、急激な局所最小化を引き起こす可能性がある。興味深いことに、この手法は低雑音条件の線形回帰や、少数の外れ値を持つロバスト回帰において最適であることを示す。実際には、非凸多層ニューラルネットワークと同様に、クロスエントロピー損失を伴う回帰でもよく機能する。私たちのアプローチは、制約のあるモデルを学習するためのサドルポイント最適化の可能性を強調します。

関連論文リスト

Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。このような問題は医学、物理学、機械学習で発生する。両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文参考訳（メタデータ） (2024-11-21T10:26:17Z)
Efficient Optimization Algorithms for Linear Adversarial Training [9.933836677441684]
逆行訓練は摂動に対して堅牢なモデルを学ぶのに使える。本稿では,線形モデルの対数学習のための最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-10-16T15:41:08Z)
A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文参考訳（メタデータ） (2024-10-14T12:10:06Z)
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
Computationally Efficient and Statistically Optimal Robust High-Dimensional Linear Regression [15.389011827844572]
重み付き雑音や客観的腐敗の下での高テール線形回帰は、どちらも統計的に困難である。本稿では,ノイズガウスあるいは重度1+エプシロン回帰問題に対するアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-05-10T14:31:03Z)
Slowly Varying Regression under Sparsity [5.22980614912553]
本稿では, 緩やかな過度回帰の枠組みを提示し, 回帰モデルが緩やかかつスパースな変動を示すようにした。本稿では,バイナリ凸アルゴリズムとして再構成する手法を提案する。結果として得られたモデルは、様々なデータセット間で競合する定式化よりも優れていることを示す。
論文参考訳（メタデータ） (2021-02-22T04:51:44Z)
Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve Optimism, Embrace Virtual Curvature [61.22680308681648]
決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-02-08T12:41:56Z)
Adaptive Sampling of Pareto Frontiers with Binary Constraints Using Regression and Classification [0.0]
本稿では,二項制約を持つブラックボックス多目的最適化問題に対する適応最適化アルゴリズムを提案する。本手法は確率的回帰モデルと分類モデルに基づいており,最適化目標のサロゲートとして機能する。また,予想される超体積計算を高速化するために,新しい楕円形トランケーション法を提案する。
論文参考訳（メタデータ） (2020-08-27T09:15:02Z)
Regression via Implicit Models and Optimal Transport Cost Minimization [5.144809478361603]
条件付きGAN (CGAN) が回帰に適用されている。現在のCGAN実装では、古典的なジェネレータ-ディスクリミネータアーキテクチャを使用している。実確率分布$p(y|x)$と推定分布$hatp(y|x)$との間の最適輸送コストを直接最適化する解を提案する。
論文参考訳（メタデータ） (2020-03-03T02:26:54Z)
Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。