論文の概要: Optimization in Machine Learning: A Distribution Space Approach

• arxiv url: http://arxiv.org/abs/2004.08620v1
• Date: Sat, 18 Apr 2020 13:38:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 05:10:50.018300
• Title: Optimization in Machine Learning: A Distribution Space Approach
• Title（参考訳）: 機械学習における最適化:分散空間アプローチ
• Authors: Yongqiang Cai, Qianxiao Li, Zuowei Shen
• Abstract要約: 本稿では,機械学習における最適化問題は,関数空間上の凸関数を最小化するものとして解釈されることが多い。 空間分布における凸最適化問題と同様に、適切な緩和によってそのような問題を再現する。 本研究では,混合分布に基づく数値アルゴリズムを開発し,分布空間で直接近似最適化を行う。
• 参考スコア（独自算出の注目度）: 16.038814087205143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the viewpoint that optimization problems encountered in machine learning can often be interpreted as minimizing a convex functional over a function space, but with a non-convex constraint set introduced by model parameterization. This observation allows us to repose such problems via a suitable relaxation as convex optimization problems in the space of distributions over the training parameters. We derive some simple relationships between the distribution-space problem and the original problem, e.g. a distribution-space solution is at least as good as a solution in the original space. Moreover, we develop a numerical algorithm based on mixture distributions to perform approximate optimization directly in distribution space. Consistency of this approximation is established and the numerical efficacy of the proposed algorithm is illustrated on simple examples. In both theory and practice, this formulation provides an alternative approach to large-scale optimization in machine learning.
• Abstract（参考訳）: 機械学習で発生する最適化問題は、関数空間上の凸汎関数の最小化として解釈されることが多いが、モデルパラメータ化によって導入された非凸制約集合を用いている。 この観察により、トレーニングパラメーター上の分布の空間における凸最適化問題として適切な緩和を通じてそのような問題を再現することができる。 分布空間問題と元の問題のいくつかの単純な関係を導出する。例えば、分布空間の解は、元の空間の解に匹敵する。 さらに,混合分布に基づく数値アルゴリズムを開発し,分布空間内で直接近似最適化を行う。 この近似の一貫性を確立し,簡単な例で提案アルゴリズムの数値的有効性を示す。 理論と実践の両方において、この定式化は機械学習における大規模最適化の代替アプローチを提供する。

関連論文リスト

• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Information Theoretical Importance Sampling Clustering [18.248246885248733]
  多くのクラスタリング手法の現在の仮定は、トレーニングデータと将来のデータが同じ分布から取られるというものである。 我々は,クラスタリング問題(itisC)に対する情報理論的重要度サンプリングに基づくアプローチを提案する。 合成データセットの実験結果と実世界の負荷予測問題により,提案モデルの有効性が検証された。
  論文  参考訳（メタデータ） (2023-02-09T03:18:53Z)
• Consistent Approximations in Composite Optimization [0.0]
  我々は最適化問題の一貫した近似のためのフレームワークを開発する。 このフレームワークは幅広い最適化のために開発されている。 プログラム解析法は、拡張非線形プログラミングソリューションを例証する。
  論文  参考訳（メタデータ） (2022-01-13T23:57:08Z)
• Distributed and Stochastic Optimization Methods with Gradient Compression and Local Steps [0.0]
  本稿では,誤差補償と局所的な更新を伴う解析および分散手法に関する理論的枠組みを提案する。 線形収束型Error-pensated法と分散型Local-SGD法を含む20以上の新しい最適化手法を開発した。
  論文  参考訳（メタデータ） (2021-12-20T16:12:54Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Communication-efficient distributed eigenspace estimation [31.69089186688224]
  我々は,データ行列の先頭不変部分空間を計算するための通信効率のよい分散アルゴリズムを開発した。 提案アルゴリズムは局所解と参照解の間のプロクリスト距離を最小化する新しいアライメント方式を用いる。 本アルゴリズムは,集中型推定器と同様の誤差率を示す。
  論文  参考訳（メタデータ） (2020-09-05T02:11:22Z)
• A Multi-Agent Primal-Dual Strategy for Composite Optimization over Distributed Features [52.856801164425086]
  目的関数を滑らかな局所関数と凸(おそらく非滑らか)結合関数の和とするマルチエージェント共有最適化問題について検討する。
  論文  参考訳（メタデータ） (2020-06-15T19:40:24Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。