論文の概要: Knot Selection in Sparse Gaussian Processes

• arxiv url: http://arxiv.org/abs/2002.09538v1
• Date: Fri, 21 Feb 2020 20:32:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 00:53:12.161780
• Title: Knot Selection in Sparse Gaussian Processes
• Title（参考訳）: スパースガウス過程における結び目選択
• Authors: Nathaniel Garton, Jarad Niemi, Alicia Carriquiry
• Abstract要約: そこで本研究では,結び目の数と配置を選択するために,ワンアット・アット・アット・タイム・結び目選択アルゴリズムを提案する。 提案アルゴリズムはベイジアン最適化を用いて,良さそうな結び目を効率的に提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knot-based, sparse Gaussian processes have enjoyed considerable success as scalable approximations to full Gaussian processes. Problems can occur, however, when knot selection is done by optimizing the marginal likelihood. For example, the marginal likelihood surface is highly multimodal, which can cause suboptimal knot placement where some knots serve practically no function. This is especially a problem when many more knots are used than are necessary, resulting in extra computational cost for little to no gains in accuracy. We propose a one-at-a-time knot selection algorithm to select both the number and placement of knots. Our algorithm uses Bayesian optimization to efficiently propose knots that are likely to be good and largely avoids the pathologies encountered when using the marginal likelihood as the objective function. We provide empirical results showing improved accuracy and speed over the current standard approaches.
• Abstract（参考訳）: 結び目に基づくスパースガウス過程は、フルガウス過程へのスケーラブルな近似としてかなりの成功を収めた。 しかし、結び目選択が限界確率を最適化することによって行われるとき、問題は起こりうる。 例えば、縁面は非常に多様であり、いくつかの結び目が事実上機能しないような準最適結び目配置を引き起こすことがある。 これは特に、必要以上に多くの結び目が使用される場合の問題であり、その結果、精度がほとんど、あるいは全く向上しない計算コストが増大する。 結び目の数と配置を選択するために,一対一の結び目選択アルゴリズムを提案する。 本アルゴリズムはベイズ最適化を用いて, 目的関数として限界確率を用いる場合の病理をほとんど回避し, 良好である可能性が高い結び目を効率的に提案する。 現在の標準手法よりも精度と速度が向上した実験結果を提供する。

関連論文リスト

• Characterization of Locality in Spin States and Forced Moves for Optimizations [0.36868085124383626]
  最適化問題において、エネルギーランドスケープにおける局所最小値の存在は、世界最小値を求めるために問題となる。 そこで我々は,局所最小値から効率よく抜け出すアルゴリズムを開発したが,正確なサンプリングは得られなかった。 提案アルゴリズムはリジェクションフリーなアルゴリズムに基づいているため,計算コストは低い。
  論文  参考訳（メタデータ） (2023-12-05T07:21:00Z)
• Self-concordant Smoothing for Large-Scale Convex Composite Optimization [0.0]
  2つの凸関数の和を最小化する自己協和スムージングの概念を導入し、そのうちの1つは滑らかであり、もう1つは非滑らかである。 本稿では, 近位ニュートンアルゴリズムであるProx-N-SCOREと近位一般化したガウスニュートンアルゴリズムであるProx-GGN-SCOREの2つのアルゴリズムの収束性を証明する。
  論文  参考訳（メタデータ） (2023-09-04T19:47:04Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Improving the Quantum Approximate Optimization Algorithm with postselection [0.0]
  組合せ最適化は、短期的およびフォールトトレラントな量子コンピュータに想定される主な応用の1つである。 量子近似最適化アルゴリズム(Quantum Approximate Optimization Algorithm, QAOA)は3つの正則グラフ上のMaxCut問題に適用される。 理論上界と下界を導いており、満たされた辺の分数の一定(小さい)増加が実際に達成可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-10T22:17:50Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
  本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。 本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
  論文  参考訳（メタデータ） (2020-05-10T19:52:03Z)
• Knot Selection in Sparse Gaussian Processes with a Variational Objective Function [0.0]
  ベイズ最適化に基づくワン・ア・ア・タイム・ノット選択アルゴリズムを提案し、ノットの数と位置を選択する。 本稿では,3つのベンチマークデータセット上での結び目の同時最適化に対して,この手法の競合性能を示すが,計算コストのごく一部に留まる。
  論文  参考訳（メタデータ） (2020-03-05T15:56:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。