論文の概要: On the nonconvexity of some push-forward constraints and its consequences in machine learning

• arxiv url: http://arxiv.org/abs/2403.07471v1
• Date: Tue, 12 Mar 2024 10:06:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 22:15:03.696900
• Title: On the nonconvexity of some push-forward constraints and its consequences in machine learning
• Title（参考訳）: プッシュフォワード制約の非凸性と機械学習への影響について
• Authors: Lucas de Lara (UT3, IMT), Mathis Deronzier (UT3, IMT), Alberto Gonz\'alez-Sanz, Virgile Foy (UT3, IMT)
• Abstract要約: プッシュフォワード操作により、地図を介して凸確率測度を再分配することができる。 統計学において重要な役割を果たす: 最適な輸送の影響からプッシュフォワードへの多くの問題。 本研究の目的は,予測やアルゴリズム学習の問題を研究者がよりよく理解することである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The push-forward operation enables one to redistribute a probability measure through a deterministic map. It plays a key role in statistics and optimization: many learning problems (notably from optimal transport, generative modeling, and algorithmic fairness) include constraints or penalties framed as push-forward conditions on the model. However, the literature lacks general theoretical insights on the (non)convexity of such constraints and its consequences on the associated learning problems. This paper aims at filling this gap. In a first part, we provide a range of sufficient and necessary conditions for the (non)convexity of two sets of functions: the maps transporting one probability measure to another; the maps inducing equal output distributions across distinct probability measures. This highlights that for most probability measures, these push-forward constraints are not convex. In a second time, we show how this result implies critical limitations on the design of convex optimization problems for learning generative models or group-fair predictors. This work will hopefully help researchers and practitioners have a better understanding of the critical impact of push-forward conditions onto convexity.
• Abstract（参考訳）: プッシュフォワード操作により、決定論的写像を通じて確率測度を再分配することができる。 統計と最適化において重要な役割を担っている: 多くの学習問題(特に最適輸送、生成的モデリング、アルゴリズム的公平性)には、モデル上のプッシュフォワード条件として構成された制約やペナルティが含まれる。 しかし、これらの制約の(非)凸性とその関連する学習問題に対する影響に関する一般的な理論的洞察を欠いている。 本論文は,このギャップを埋めることを目的とする。 第1部では、2つの関数の集合の(非)凸性に対する十分かつ必要な条件の範囲を提供する: 1つの確率測度を別の確率測度に輸送する写像、異なる確率測度にまたがる等出力分布を誘導する写像。 これは、ほとんどの確率測度において、これらのプッシュフォワード制約は凸ではないことを強調している。 第二に、この結果が学習生成モデルやグループフェア予測器における凸最適化問題の設計に重大な制限を与えることを示す。 この研究は、研究者や実践者が、プッシュフォワード条件が凸性に与える影響をより深く理解するのに役立つだろう。

関連論文リスト

• Near-Optimal Solutions of Constrained Learning Problems [85.48853063302764]
  機械学習システムでは、振る舞いを縮小する必要性がますます顕在化している。 これは、双対ロバスト性変数を満たすモデルの開発に向けた最近の進歩によって証明されている。 この結果から, 豊富なパラメトリゼーションは非次元的, 有限な学習問題を効果的に緩和することが示された。
  論文  参考訳（メタデータ） (2024-03-18T14:55:45Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• Zero-Regret Performative Prediction Under Inequality Constraints [5.513958040574729]
  本稿では不等式制約下での性能予測について検討する。 我々は,ある程度の精度しか必要としない頑健な原始双対フレームワークを開発する。 次に、位置ファミリに対する適応的原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-22T04:54:26Z)
• Understanding the double descent curve in Machine Learning [1.8065361710947976]
  我々は,この現象を原則的に理解し,重要な質問に対する回答をスケッチする。 提案した仮説によって正確に予測された実実験結果について報告する。
  論文  参考訳（メタデータ） (2022-11-18T16:27:05Z)
• Optimizing the Performative Risk under Weak Convexity Assumptions [0.0]
  性能予測において、予測モデルは将来のデータを生成する分布に影響を与える。 これまでの研究では、損失に関する一般的な条件とモデルパラメータから分布へのマッピングが特定されており、凸性はパフォーマンスリスクを意味する。 本稿では,反復最適化法における性能最小化リスク問題の回避性を犠牲にすることなく,これらの仮定を緩和する。
  論文  参考訳（メタデータ） (2022-09-02T01:07:09Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Sufficiently Accurate Model Learning for Planning [119.80502738709937]
  本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。 これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。 近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
  論文  参考訳（メタデータ） (2021-02-11T16:27:31Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)
• On Constraint Definability in Tractable Probabilistic Models [12.47276164048813]
  様々な問題では、制約に関する推論と統合するために予測が必要である。 本稿では, 制約を取り入れつつ, 総生成物ネットワークなどのトラクタブル確率モデルの学習がいかに可能かを数学的に考察する。
  論文  参考訳（メタデータ） (2020-01-29T16:05:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。