論文の概要: Learning to Initialize Gradient Descent Using Gradient Descent

• arxiv url: http://arxiv.org/abs/2012.12141v1
• Date: Tue, 22 Dec 2020 16:23:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 07:41:29.394430
• Title: Learning to Initialize Gradient Descent Using Gradient Descent
• Title（参考訳）: 勾配降下を用いた勾配降下初期化学習
• Authors: Kartik Ahuja, Amit Dhurandhar, Kush R. Varshney
• Abstract要約: 非最適化問題は解決が難しい。 本研究では,手作りアルゴリズムの簡易な代替として,ランダムアルゴリズムよりも優れた学習手法を提案する。
• 参考スコア（独自算出の注目度）: 21.02474345607079
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-convex optimization problems are challenging to solve; the success and computational expense of a gradient descent algorithm or variant depend heavily on the initialization strategy. Often, either random initialization is used or initialization rules are carefully designed by exploiting the nature of the problem class. As a simple alternative to hand-crafted initialization rules, we propose an approach for learning "good" initialization rules from previous solutions. We provide theoretical guarantees that establish conditions that are sufficient in all cases and also necessary in some under which our approach performs better than random initialization. We apply our methodology to various non-convex problems such as generating adversarial examples, generating post hoc explanations for black-box machine learning models, and allocating communication spectrum, and show consistent gains over other initialization techniques.
• Abstract（参考訳）: 非凸最適化問題は解決が困難であり、勾配降下アルゴリズムや変種の成功と計算費用は初期化戦略に大きく依存する。 多くの場合、ランダム初期化は使われるか、初期化規則は問題クラスの性質を利用して慎重に設計される。 手作り初期化規則の単純な代替として,従来のソリューションから「良い」初期化規則を学習するためのアプローチを提案する。 我々は,すべての場合において十分かつ必要となる条件を確立するための理論的保証を提供する。 提案手法は,ブラックボックス機械学習モデルにおける逆例の生成,ポストホック説明の生成,通信スペクトルの割り当てなど,様々な非凸問題に適用し,他の初期化手法よりも一貫した利得を示す。

関連論文リスト

• Taking the human out of decomposition-based optimization via artificial intelligence: Part II. Learning to initialize [0.0]
  提案手法は解時間を大幅に短縮することができる。 アクティブかつ教師付き学習は、計算性能を予測する代理モデルを学ぶために使用される。 その結果,提案手法が解時間を大幅に短縮する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-10T23:49:26Z)
• Invex Programs: First Order Algorithms and Their Convergence [66.40124280146863]
  Invexプログラムは、固定点ごとに世界最小値が得られる特別な非制約問題である。 そこで我々は,超凸問題における一般収束率を解くために,新しい一階法アルゴリズムを提案する。 提案アルゴリズムは,制約付き凸プログラムを解く最初のアルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-10T10:11:01Z)
• Restarts subject to approximate sharpness: A parameter-free and optimal scheme for first-order methods [0.6554326244334866]
  シャープネス(Sharpness)は、目的関数の準最適性によってミニマからの距離を束縛する連続最適化における仮定である。 シャープネスは、通常不明な問題固有の定数を伴い、再起動スキームは通常収束率を減少させる。 対象関数の誤差に未知の定数摂動を組み込んだシャープネスの一般化である近似シャープネスの仮定を考察する。
  論文  参考訳（メタデータ） (2023-01-05T19:01:41Z)
• Self-adaptive algorithms for quasiconvex programming and applications to machine learning [0.0]
  凸線探索技術や,軽微な仮定の下での汎用的アプローチを含まない,自己適応的なステップサイズ戦略を提案する。 提案手法は,いくつかの計算例から予備的な結果によって検証される。 大規模問題に対する提案手法の有効性を実証するため,機械学習実験に適用した。
  論文  参考訳（メタデータ） (2022-12-13T05:30:29Z)
• Faster Randomized Methods for Orthogonality Constrained Problems [7.002470330184841]
  ランダム化プレコンディショニングの応用を、データサイエンスで広く普及している別の重要な問題に拡張する方法を示す。 本稿では,支配的正準相関の計算問題とフィッシャー線形判別分析問題について述べる。
  論文  参考訳（メタデータ） (2021-06-22T21:15:00Z)
• Provably Convergent Algorithms for Solving Inverse Problems Using Generative Models [47.208080968675574]
  より完全な理解を伴う逆問題における生成モデルの利用について検討する。 我々は様々な逆問題を解くための実験結果を用いて主張を支持する。 我々は,モデルミスマッチ(生成前処理が必ずしも適用されない状況)を処理する手法の拡張を提案する。
  論文  参考訳（メタデータ） (2021-05-13T15:58:27Z)
• Data-driven Weight Initialization with Sylvester Solvers [72.11163104763071]
  本稿では,ディープニューラルネットワークのパラメータを初期化するためのデータ駆動方式を提案する。 提案手法は,特にショットや微調整の設定において有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-02T07:33:16Z)
• Run2Survive: A Decision-theoretic Approach to Algorithm Selection based on Survival Analysis [75.64261155172856]
  生存分析(SA)は、自然に検閲されたデータをサポートし、アルゴリズムランタイムの分散モデルを学習するためにそのようなデータを使用する適切な方法を提供する。 我々は、アルゴリズム選択に対する洗練された決定論的アプローチの基礎として、そのようなモデルを活用し、Run2Surviveを疑う。 標準ベンチマークASlibによる広範な実験では、我々のアプローチは競争力が高く、多くの場合、最先端のASアプローチよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2020-07-06T15:20:17Z)
• Excursion Search for Constrained Bayesian Optimization under a Limited Budget of Failures [62.41541049302712]
  本稿では,所定の予算の失敗の関数として探索において許容されるリスクの量を制御する制御理論に基づく新しい意思決定者を提案する。 本アルゴリズムは, 種々の最適化実験において, 故障予算をより効率的に利用し, 一般に, 最先端の手法よりも, 後悔度を低くする。
  論文  参考訳（メタデータ） (2020-05-15T09:54:09Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。