論文の概要: Theoretical Analysis of Explicit Averaging and Novel Sign Averaging in Comparison-Based Search

• arxiv url: http://arxiv.org/abs/2401.14014v1
• Date: Thu, 25 Jan 2024 08:35:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 15:22:18.066763
• Title: Theoretical Analysis of Explicit Averaging and Novel Sign Averaging in Comparison-Based Search
• Title（参考訳）: 比較に基づく探索における明示的平均化と新規符号平均化の理論解析
• Authors: Daiki Morinaga, Youhei Akimoto
• Abstract要約: ブラックボックス最適化では、目的関数のノイズは避けられない。 明示的平均化は、単純で汎用的なノイズハンドリング技術として広く利用されている。 あるいは、手話平均化は単純だが頑健なノイズハンドリング手法として提案される。
• 参考スコア（独自算出の注目度）: 6.883986852278248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In black-box optimization, noise in the objective function is inevitable. Noise disrupts the ranking of candidate solutions in comparison-based optimization, possibly deteriorating the search performance compared with a noiseless scenario. Explicit averaging takes the sample average of noisy objective function values and is widely used as a simple and versatile noise-handling technique. Although it is suitable for various applications, it is ineffective if the mean is not finite. We theoretically reveal that explicit averaging has a negative effect on the estimation of ground-truth rankings when assuming stably distributed noise without a finite mean. Alternatively, sign averaging is proposed as a simple but robust noise-handling technique. We theoretically prove that the sign averaging estimates the order of the medians of the noisy objective function values of a pair of points with arbitrarily high probability as the number of samples increases. Its advantages over explicit averaging and its robustness are also confirmed through numerical experiments.
• Abstract（参考訳）: ブラックボックス最適化では、目的関数のノイズは避けられない。 ノイズは、比較に基づく最適化において候補ソリューションのランキングを混乱させ、おそらく、ノイズのないシナリオと比較して検索性能を低下させる。 明示的な平均化はノイズの多い対象関数のサンプル平均値をとり、単純で汎用的なノイズハンドリング技術として広く使われている。 様々な応用に適しているが、平均が有限でない場合には効果がない。 安定分布雑音を有限平均で仮定した場合, 露光平均化が地中信頼度推定に負の効果があることを理論的に明らかにする。 あるいは、手話平均化は単純だが頑健なノイズ処理手法として提案される。 理論上、平均的な符号は、サンプル数の増加に伴って、任意の高い確率で一対の点のノイズの客観的関数値の中央値の順序を推定する。 明示的な平均化やロバスト性に対するその利点は数値実験によって確認される。

関連論文リスト

• An Adaptive Re-evaluation Method for Evolution Strategy under Additive Noise [3.92625489118339]
  本稿では,加法的なガウスホワイトノイズによる関数値の最適再評価数を適応的に選択する手法を提案する。 実験では,CMA-ESのノイズハンドリング手法を人工的なテスト関数の集合上で実験的に比較した。
  論文  参考訳（メタデータ） (2024-09-25T09:10:21Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Adaptive Sampling for Heterogeneous Rank Aggregation from Noisy Pairwise Comparisons [85.5955376526419]
  ランキングアグリゲーション問題では、各項目を比較する際に、様々な精度レベルが示される。 本稿では,ノイズのあるペアワイズ比較によってアイテムのランクを推定する,除去に基づくアクティブサンプリング戦略を提案する。 提案アルゴリズムは,商品の真のランキングを高い確率で返却できることを示す。
  論文  参考訳（メタデータ） (2021-10-08T13:51:55Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Denoising Score Matching with Random Fourier Features [11.60130641443281]
  Kernel Exponential Family を用いたDenoising Score matching の解析式をモデル分布として導出する。 得られた式はノイズのばらつきに明示的に依存するため、バリデーション損失はノイズレベルを調整するために簡単に使用できる。
  論文  参考訳（メタデータ） (2021-01-13T18:02:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。