論文の概要: A Gentle Introduction to Gradient-Based Optimization and Variational Inequalities for Machine Learning

• arxiv url: http://arxiv.org/abs/2309.04877v1
• Date: Sat, 9 Sep 2023 21:36:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 15:48:20.056838
• Title: A Gentle Introduction to Gradient-Based Optimization and Variational Inequalities for Machine Learning
• Title（参考訳）: 機械学習のための勾配最適化と変分不等式入門
• Authors: Neha S. Wadia, Yatin Dandi, and Michael I. Jordan
• Abstract要約: 機械学習における勾配に基づくアルゴリズムのフレームワークを提供する。 まず、サドル点と単調ゲームから始め、一般的な変分不等式へと進む。 いくつかのアルゴリズムに収束証明を提供していますが、主な焦点はモチベーションと直感を提供することです。
• 参考スコア（独自算出の注目度）: 46.98201017084005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid progress in machine learning in recent years has been based on a highly productive connection to gradient-based optimization. Further progress hinges in part on a shift in focus from pattern recognition to decision-making and multi-agent problems. In these broader settings, new mathematical challenges emerge that involve equilibria and game theory instead of optima. Gradient-based methods remain essential -- given the high dimensionality and large scale of machine-learning problems -- but simple gradient descent is no longer the point of departure for algorithm design. We provide a gentle introduction to a broader framework for gradient-based algorithms in machine learning, beginning with saddle points and monotone games, and proceeding to general variational inequalities. While we provide convergence proofs for several of the algorithms that we present, our main focus is that of providing motivation and intuition.
• Abstract（参考訳）: 近年の機械学習の急速な進歩は、勾配に基づく最適化への高度に生産的な接続に基づいている。 さらなる進歩は、パターン認識から意思決定やマルチエージェント問題へと焦点を移すことにある。 これらの広い環境では、オプティマの代わりに平衡とゲーム理論を含む新しい数学的課題が現れる。 勾配に基づく手法は、高次元と大規模な機械学習問題を考えると、依然として不可欠だが、単純な勾配降下はアルゴリズム設計の出発点ではない。 機械学習における勾配に基づくアルゴリズムのより広範なフレームワークについて,サドルポイントとモノトーンゲームから始まり,一般的な変分不等式へと進む。 提示するアルゴリズムのいくつかの収束証明を提供する一方で、私たちの焦点はモチベーションと直感を提供することです。

関連論文リスト

• Model-Agnostic Zeroth-Order Policy Optimization for Meta-Learning of Ergodic Linear Quadratic Regulators [13.343937277604892]
  エルゴード線形二次規制器における不確実性と不均一性を扱うためにメタラーニングを用いることの問題点について検討する。 本稿では,不均一だが類似の線形力学系を学習するタスクに適用可能なポリシヘシアンの推定を省略するアルゴリズムを提案する。 メタオブジェクトの勾配の有界性と滑らかさを解析することにより、正確な勾配降下過程の収束結果を提供する。
  論文  参考訳（メタデータ） (2024-05-27T17:26:36Z)
• Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
  我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。 我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。 CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
  論文  参考訳（メタデータ） (2023-06-23T09:57:44Z)
• Understanding A Class of Decentralized and Federated Optimization Algorithms: A Multi-Rate Feedback Control Perspective [41.05789078207364]
  分散最適化アルゴリズムを理解し、分析し、設計するための新しい視点を提供する。 本稿では,分散化/分散化方式を含む分散アルゴリズムを,特定の連続時間フィードバック制御系を識別できることを示す。
  論文  参考訳（メタデータ） (2022-04-27T01:53:57Z)
• Learning for Spatial Branching: An Algorithm Selection Approach [0.0]
  本研究では,非線形最適化問題の文脈で分岐学習フレームワークを開発し,その有効性を示す。 提案した学習は、インスタンス固有の機能に基づいてオフラインで実行され、新しいインスタンスを解く際の計算オーバーヘッドがない。 異なるベンチマークインスタンスの実験では、学習ベースの分岐ルールが標準ルールを大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2022-04-22T17:23:43Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Physical Gradients for Deep Learning [101.36788327318669]
  最先端のトレーニング技術は、物理的なプロセスに関わる多くの問題に適していないことが分かりました。 本稿では,高次最適化手法と機械学習手法を組み合わせた新しいハイブリッドトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-30T12:14:31Z)
• SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
  一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。 特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T15:16:28Z)
• Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond [114.39616146985001]
  機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。 本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。 次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
  論文  参考訳（メタデータ） (2021-01-27T16:20:23Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。