論文の概要: Optimization for Supervised Machine Learning: Randomized Algorithms for Data and Parameters

• arxiv url: http://arxiv.org/abs/2008.11824v1
• Date: Wed, 26 Aug 2020 21:15:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 22:31:15.562934
• Title: Optimization for Supervised Machine Learning: Randomized Algorithms for Data and Parameters
• Title（参考訳）: 教師付き機械学習の最適化:データとパラメータのランダム化アルゴリズム
• Authors: Filip Hanzely
• Abstract要約: 機械学習とデータサイエンスの主な問題は、最適化問題として日常的にモデル化され、最適化アルゴリズムによって解決される。 データ量の増加と、これらの不条件最適化タスクを定式化するために使用される統計モデルのサイズと複雑さにより、これらの課題に対処できる新しい効率的なアルゴリズムが必要である。 この論文では,これらの課題をそれぞれ異なる方法で処理する。ビッグデータ問題に効率的に対処するために,各イテレーションでトレーニングデータの小さなランダムサブセットのみを検査する新しい手法を開発する。 大きなモデル問題に対処するために、イテレーション毎に更新されるメソッドを開発します。
• 参考スコア（独自算出の注目度）: 10.279748604797911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many key problems in machine learning and data science are routinely modeled as optimization problems and solved via optimization algorithms. With the increase of the volume of data and the size and complexity of the statistical models used to formulate these often ill-conditioned optimization tasks, there is a need for new efficient algorithms able to cope with these challenges. In this thesis, we deal with each of these sources of difficulty in a different way. To efficiently address the big data issue, we develop new methods which in each iteration examine a small random subset of the training data only. To handle the big model issue, we develop methods which in each iteration update a random subset of the model parameters only. Finally, to deal with ill-conditioned problems, we devise methods that incorporate either higher-order information or Nesterov's acceleration/momentum. In all cases, randomness is viewed as a powerful algorithmic tool that we tune, both in theory and in experiments, to achieve the best results. Our algorithms have their primary application in training supervised machine learning models via regularized empirical risk minimization, which is the dominant paradigm for training such models. However, due to their generality, our methods can be applied in many other fields, including but not limited to data science, engineering, scientific computing, and statistics.
• Abstract（参考訳）: 機械学習とデータサイエンスの主要な問題は最適化問題として日常的にモデル化され、最適化アルゴリズムによって解決される。 データ量の増加と、これらの不条件最適化タスクを定式化するために使用される統計モデルのサイズと複雑さにより、これらの課題に対処できる新しい効率的なアルゴリズムが必要である。 この論文では、これらの難易度源をそれぞれ異なる方法で扱う。 ビッグデータ問題に効率的に対処するために,各イテレーションでトレーニングデータの小さなランダムなサブセットのみを調べる新しい手法を開発した。 大規模モデル問題に対処するために,各イテレーションでモデルパラメータのランダムなサブセットを更新できる手法を開発した。 最後に,不適切な問題に対処するために,高次情報やネステロフの加速度・運動を組み込んだ手法を考案する。 いずれの場合においても、ランダム性は理論と実験の両方において最高の結果を達成するための強力なアルゴリズムツールと見なされる。 我々のアルゴリズムは、正規化された経験的リスク最小化による教師付き機械学習モデルのトレーニングに主に応用されている。 しかし、その一般性から、我々の手法はデータサイエンス、エンジニアリング、科学計算、統計など、他の多くの分野にも適用することができる。

関連論文リスト

• PETScML: Second-order solvers for training regression problems in Scientific Machine Learning [0.22499166814992438]
  近年、分析のためのデータ駆動ツールとして、科学機械学習の出現を目撃している。 我々は、ディープラーニングソフトウェアと従来の機械学習技術とのギャップを埋めるために、Portable and Extensible Toolkit for Scientific計算上に構築されたソフトウェアを紹介します。
  論文  参考訳（メタデータ） (2024-03-18T18:59:42Z)
• Learning of networked spreading models from noisy and incomplete data [7.669018800404791]
  スケーラブルな動的メッセージパッシング技術に基づく普遍的な学習手法を提案する。 このアルゴリズムは、モデルとデータに関する利用可能な事前知識を活用し、拡散モデルのネットワーク構造とパラメータの両方を再構成する。 キーモデルパラメータを持つ手法の線形計算複雑性は,アルゴリズムを大規模ネットワークインスタンスにスケーラブルにすることを示す。
  論文  参考訳（メタデータ） (2023-12-20T13:12:47Z)
• Adaptive Optimization Algorithms for Machine Learning [0.0]
  機械学習は、データ駆動の世界において重要な役割を担います。 この論文は、新しい洞察をもたらし、収束保証を改善した新しいアルゴリズムを導入し、人気のある実用的なアルゴリズムの分析を改善する。
  論文  参考訳（メタデータ） (2023-11-16T21:22:47Z)
• Applications of Nature-Inspired Metaheuristic Algorithms for Tackling Optimization Problems Across Disciplines [12.664160352147293]
  本稿では,自然に着想を得たメタヒューリスティックアルゴリズムの有用性を示す。 本研究の主な目的は,CSO-MAのようなメタヒューリスティックなアルゴリズムが,統計学における様々な種類の最適化問題に取り組むのに効率的であることを示すことである。
  論文  参考訳（メタデータ） (2023-08-08T16:41:33Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Algorithms that Approximate Data Removal: New Results and Limitations [2.6905021039717987]
  本研究では,経験的リスク最小化を用いて学習した機械学習モデルからユーザデータを削除することの問題点について検討する。 計算とメモリ効率を両立させるオンラインアンラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-09-25T17:20:33Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
  最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。 我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
  論文  参考訳（メタデータ） (2020-06-15T18:37:38Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。