Fugu-MT 論文翻訳(概要): Efficient Optimization Algorithms for Linear Adversarial Training

論文の概要: Efficient Optimization Algorithms for Linear Adversarial Training

arxiv url: http://arxiv.org/abs/2410.12677v1
Date: Wed, 16 Oct 2024 15:41:08 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-17 13:44:35.683863
Title: Efficient Optimization Algorithms for Linear Adversarial Training
Title（参考訳）: 線形対数学習のための効率的な最適化アルゴリズム
Authors: Antônio H. RIbeiro, Thomas B. Schön, Dave Zahariah, Francis Bach,
Abstract要約: 逆行訓練は摂動に対して堅牢なモデルを学ぶのに使える。本稿では,線形モデルの対数学習のための最適化アルゴリズムを提案する。
参考スコア（独自算出の注目度）: 9.933836677441684
License:
Abstract: Adversarial training can be used to learn models that are robust against perturbations. For linear models, it can be formulated as a convex optimization problem. Compared to methods proposed in the context of deep learning, leveraging the optimization structure allows significantly faster convergence rates. Still, the use of generic convex solvers can be inefficient for large-scale problems. Here, we propose tailored optimization algorithms for the adversarial training of linear models, which render large-scale regression and classification problems more tractable. For regression problems, we propose a family of solvers based on iterative ridge regression and, for classification, a family of solvers based on projected gradient descent. The methods are based on extended variable reformulations of the original problem. We illustrate their efficiency in numerical examples.
Abstract（参考訳）: 逆行訓練は摂動に対して堅牢なモデルを学ぶのに使える。線形モデルの場合、凸最適化問題として定式化することができる。ディープラーニングの文脈で提案された手法と比較して、最適化構造を利用することで、収束率が大幅に向上する。それでも、ジェネリック凸ソルバの使用は、大規模な問題では非効率である。本稿では,線形モデルの逆数学習のための最適化アルゴリズムを提案する。回帰問題に対しては、反復尾根回帰に基づく解の族と、予測勾配勾配に基づく解の族を分類する。これらの手法は、元の問題の拡張変数の修正に基づいている。数値的な例でそれらの効率について説明する。

関連論文リスト

Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-01-08T22:33:14Z)
Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
論文参考訳（メタデータ） (2023-07-17T20:11:56Z)
Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文参考訳（メタデータ） (2023-02-24T18:41:48Z)
Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文参考訳（メタデータ） (2023-01-28T01:50:42Z)
Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size [29.15132344744801]
本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
論文参考訳（メタデータ） (2021-12-30T00:50:30Z)
Accelerated nonlinear primal-dual hybrid gradient algorithms with applications to machine learning [0.0]
原始双対ハイブリッド勾配(PDHG)は、サドル点構造を持つ凸最適化問題をより小さなサブプロブレムに分割する一階法である。 PDHGは、手前の問題に対して微調整されたステップサイズパラメータを必要とする。我々は,機械学習に関連する幅広い最適化問題に対して,PDHGアルゴリズムの高速化された非線形変種を導入する。
論文参考訳（メタデータ） (2021-09-24T22:37:10Z)
Linear regression with partially mismatched data: local search with theoretical guarantees [9.398989897176953]
本稿では,予測と応答のペアが部分的に一致しない線形回帰の重要な変種について検討する。最適化定式化を用いて、基礎となる回帰係数とミスマッチに対応する置換を同時に学習する。我々は,局所探索アルゴリズムが線形速度でほぼ最適解に収束することを証明した。
論文参考訳（メタデータ） (2021-06-03T23:32:12Z)
Slowly Varying Regression under Sparsity [5.22980614912553]
本稿では, 緩やかな過度回帰の枠組みを提示し, 回帰モデルが緩やかかつスパースな変動を示すようにした。本稿では,バイナリ凸アルゴリズムとして再構成する手法を提案する。結果として得られたモデルは、様々なデータセット間で競合する定式化よりも優れていることを示す。
論文参考訳（メタデータ） (2021-02-22T04:51:44Z)
Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-12-04T00:26:56Z)
Adaptive Sampling of Pareto Frontiers with Binary Constraints Using Regression and Classification [0.0]
本稿では,二項制約を持つブラックボックス多目的最適化問題に対する適応最適化アルゴリズムを提案する。本手法は確率的回帰モデルと分類モデルに基づいており,最適化目標のサロゲートとして機能する。また,予想される超体積計算を高速化するために,新しい楕円形トランケーション法を提案する。
論文参考訳（メタデータ） (2020-08-27T09:15:02Z)
Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。