論文の概要: Parameters for the best convergence of an optimization algorithm
On-The-Fly
- arxiv url: http://arxiv.org/abs/2009.11390v1
- Date: Wed, 23 Sep 2020 21:38:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-15 15:27:49.952854
- Title: Parameters for the best convergence of an optimization algorithm
On-The-Fly
- Title（参考訳）: 最適化アルゴリズムOn-The-Flyの最適収束パラメータ
- Authors: Valdimir Pieter
- Abstract要約: この研究は、5つの異なるアルゴリズムを異なる目的関数でテストする実験的な概念で行われた。
正しいパラメータを見つけるために、"on-the-fly"と呼ばれる手法が適用された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What really sparked my interest was how certain parameters worked better at
executing and optimization algorithm convergence even though the objective
formula had no significant differences. Thus the research question stated:
'Which parameters provides an upmost optimal convergence solution of an
Objective formula using the on-the-fly method?' This research was done in an
experimental concept in which five different algorithms were tested with
different objective functions to discover which parameter would result well for
the best convergence. To find the correct parameter a method called
'on-the-fly' was applied. I run the experiments with five different
optimization algorithms. One of the test runs showed that each parameter has an
increasing or decreasing convergence accuracy towards the subjective function
depending on which specific optimization algorithm you choose. Each parameter
has an increasing or decreasing convergence accuracy toward the subjective
function. One of the results in which evolutionary algorithm was applied with
only the recombination technique did well at finding the best optimization. As
well that some results have an increasing accuracy visualization by combing
mutation or several parameters in one test performance. In conclusion, each
algorithm has its own set of the parameter that converge differently. Also
depending on the target formula that is used. This confirms that the fly method
a suitable approach at finding the best parameter. This means manipulations and
observe the effects in process to find the right parameter works as long as the
learning cost rate decreases over time.
- Abstract（参考訳）: 私が本当に興味を引いたのは、目的式に大きな違いがなかったとしても、特定のパラメータがアルゴリズムの収束の実行と最適化にいかにうまくいったかでした。
したがって、研究の質問は「このパラメータは、オンザフライ法を用いて目的公式の最も最適な収束解を提供するのだろうか?」と述べた。
この研究は、5つの異なるアルゴリズムを異なる目的関数でテストし、どのパラメータが最適収束に適するかを確かめる実験によって行われた。
正しいパラメータを見つけるために'オン・ザ・フライ'と呼ばれる方法が適用された。
私は5つの最適化アルゴリズムで実験を行います。
テストの結果、どの最適化アルゴリズムを選択するかによって、各パラメータが主観関数に対して収束精度を増加または減少させることが示された。
各パラメータは主観関数に対する収束精度を増大または減少させる。
進化的アルゴリズムを組換え技術のみに適用した結果の1つは、最適な最適化を見つけるのに有効であった。
同様に、いくつかの結果は、突然変異またはいくつかのパラメータを1つのテスト性能に組み合わせることで、精度を向上する。
結論として、各アルゴリズムは、それぞれ異なる収束するパラメータの集合を持つ。
また、使用する対象の式にも依存する。
これは、フライメソッドが最適なパラメータを見つけるのに適したアプローチであることを確認する。
これは、学習コストが時間とともに減少する限り、適切なパラメータを見つけるためのプロセスの操作と効果の観察を意味する。
関連論文リスト
- A Multi-objective Newton Optimization Algorithm for Hyper-Parameter
Search [0.0]
このアルゴリズムを用いて畳み込みニューラルネットワークの多クラス物体検出問題に対する最適確率しきい値(8パラメータのベクトル)を探索する。
このアルゴリズムは、デフォルト値0.5に比べて総合的に高い真正(TP)と低い偽正(FP)率を生成する。
論文 参考訳（メタデータ） (2024-01-07T21:12:34Z) - ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳（メタデータ） (2023-09-12T14:36:13Z) - On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。
これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。
我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文 参考訳（メタデータ） (2022-11-28T17:41:48Z) - An Algebraically Converging Stochastic Gradient Descent Algorithm for
Global Optimization [14.336473214524663]
アルゴリズムの主要な構成要素は、目的関数の値に基づくランダム性である。
アルゴリズムの収束を代数学で証明し、パラメータ空間でチューニングする。
アルゴリズムの効率性とロバスト性を示す数値的な例をいくつか提示する。
論文 参考訳（メタデータ） (2022-04-12T16:27:49Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳（メタデータ） (2021-04-19T17:22:11Z) - Lazy Parameter Tuning and Control: Choosing All Parameters Randomly From
a Power-Law Distribution [8.34061303235504]
ほとんどの進化的アルゴリズムは複数のパラメータを持ち、その値は性能に大きな影響を及ぼす。
そこで本研究では,各繰り返しにおけるパラメータの値を,適切にスケールされたパワー・ロー分布からランダムに選択する,遅延だが効果的な解を提案する。
静的パラメータで知られている最高のパフォーマンスに匹敵する性能を保証する。
論文 参考訳（メタデータ） (2021-04-14T09:17:18Z) - Efficient hyperparameter optimization by way of PAC-Bayes bound
minimization [4.191847852775072]
本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。
そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
論文 参考訳（メタデータ） (2020-08-14T15:54:51Z) - Exploiting Higher Order Smoothness in Derivative-free Optimization and
Continuous Bandits [99.70167985955352]
強凸関数のゼロ次最適化問題について検討する。
予測勾配降下アルゴリズムのランダム化近似を考察する。
その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
論文 参考訳（メタデータ） (2020-06-14T10:42:23Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z) - Weighted Random Search for Hyperparameter Optimization [0.0]
本稿では,機械学習アルゴリズムのハイパーパラメータ最適化に使用されるRandom Search(RS)の改良版を紹介する。
我々は、標準RSとは異なり、変化の確率で各ハイパーパラメータに対して新しい値を生成する。
同じ計算予算内で、我々の手法は標準のRSよりも優れた結果が得られる。
論文 参考訳（メタデータ） (2020-04-03T15:41:22Z) - Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文 参考訳（メタデータ） (2020-03-27T06:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。