論文の概要: Near-Optimal Solutions of Constrained Learning Problems

• arxiv url: http://arxiv.org/abs/2403.11844v1
• Date: Mon, 18 Mar 2024 14:55:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 20:00:12.495793
• Title: Near-Optimal Solutions of Constrained Learning Problems
• Title（参考訳）: 制約付き学習問題の最適解法
• Authors: Juan Elenter, Luiz F. O. Chamon, Alejandro Ribeiro,
• Abstract要約: 機械学習システムでは、振る舞いを縮小する必要性がますます顕在化している。 これは、双対ロバスト性変数を満たすモデルの開発に向けた最近の進歩によって証明されている。 この結果から, 豊富なパラメトリゼーションは非次元的, 有限な学習問題を効果的に緩和することが示された。
• 参考スコア（独自算出の注目度）: 85.48853063302764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the widespread adoption of machine learning systems, the need to curtail their behavior has become increasingly apparent. This is evidenced by recent advancements towards developing models that satisfy robustness, safety, and fairness requirements. These requirements can be imposed (with generalization guarantees) by formulating constrained learning problems that can then be tackled by dual ascent algorithms. Yet, though these algorithms converge in objective value, even in non-convex settings, they cannot guarantee that their outcome is feasible. Doing so requires randomizing over all iterates, which is impractical in virtually any modern applications. Still, final iterates have been observed to perform well in practice. In this work, we address this gap between theory and practice by characterizing the constraint violation of Lagrangian minimizers associated with optimal dual variables, despite lack of convexity. To do this, we leverage the fact that non-convex, finite-dimensional constrained learning problems can be seen as parametrizations of convex, functional problems. Our results show that rich parametrizations effectively mitigate the issue of feasibility in dual methods, shedding light on prior empirical successes of dual learning. We illustrate our findings in fair learning tasks.
• Abstract（参考訳）: 機械学習システムが広く採用されるにつれて、その振る舞いを縮める必要性がますます顕在化している。 これは、堅牢性、安全性、公正性要件を満たすモデルの開発に向けた最近の進歩によって証明されている。 これらの要件は、制約付き学習問題の定式化によって(一般化保証付きで)課せられ、二重登頂アルゴリズムによって取り組めます。 しかし、これらのアルゴリズムは客観的な値に収束するが、凸のない設定であっても、結果が実現可能であることは保証できない。 そのためにはすべての反復をランダム化する必要があるが、これは事実上現代のアプリケーションでは現実的ではない。 それでも、最終的なイテレーションは、実際にうまく機能することが観察されている。 本研究では、凸性の欠如にもかかわらず、最適双対変数に付随するラグランジアン最小値の制約違反を特徴付けることにより、理論と実践の間のこのギャップに対処する。 これを実現するために,非凸有限次元制約学習問題を凸関数問題のパラメトリゼーションとみなすことができる。 本結果から,2つの手法の実現可能性の問題を効果的に緩和し,従来の2つの学習の実証的成功に光を当てることが示唆された。 フェアラーニングの課題について,本研究の成果を概説する。

関連論文リスト

• Learning to Optimize for Mixed-Integer Non-linear Programming [20.469394148261838]
  混合整数非NLPプログラム(MINLP)はエネルギーシステムや輸送など様々な領域で発生するが、解決は困難である。 機械学習の最近の進歩は、最適化のための学習として知られる領域において、顕著な成功をもたらしている。 勾配を保ちながら整数出力を生成する2つの異なる補正層を提案する。
  論文  参考訳（メタデータ） (2024-10-14T20:14:39Z)
• Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
  機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。 本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。 これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
  論文  参考訳（メタデータ） (2024-03-06T04:43:22Z)
• Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation [86.8475564814154]
  制約付き最適化問題を直接実行することは可能かつ有益であることを示す。 メモリベースのメソッドでは、以前のタスクからのサンプルの小さなサブセットをリプレイバッファに格納できる。 両変数は,制約摂動に対する連続学習問題の最適値の感度を示す。
  論文  参考訳（メタデータ） (2023-09-29T21:23:27Z)
• Resilient Constrained Learning [94.27081585149836]
  本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。 我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
  論文  参考訳（メタデータ） (2023-06-04T18:14:18Z)
• Efficient Performance Bounds for Primal-Dual Reinforcement Learning from Demonstrations [1.0609815608017066]
  本稿では,コスト関数の不明な大規模マルコフ決定プロセスについて考察し,限られた専門家による実証から政策を学習する問題に対処する。 既存の逆強化学習法には強力な理論的保証があるが、計算上は高価である。 ラグランジアン双対性を利用して理論と実践のギャップを埋める新しい双線型サドルポイントフレームワークを導入する。
  論文  参考訳（メタデータ） (2021-12-28T05:47:24Z)
• Constrained Learning with Non-Convex Losses [119.8736858597118]
  学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
  論文  参考訳（メタデータ） (2021-03-08T23:10:33Z)
• Probably Approximately Correct Constrained Learning [135.48447120228658]
  我々は、ほぼ正しい学習フレームワーク(PAC)に基づく一般化理論を開発する。 PAC学習可能なクラスも制約のある学習者であるという意味では,学習者の導入は学習問題を難しくするものではないことを示す。 このソリューションの特性を分析し,制約付き学習が公平でロバストな分類における問題にどのように対処できるかを説明する。
  論文  参考訳（メタデータ） (2020-06-09T19:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。