Fugu-MT 論文翻訳(概要): Enhancing Parameter Control Policies with State Information

論文の概要: Enhancing Parameter Control Policies with State Information

arxiv url: http://arxiv.org/abs/2507.08368v1
Date: Fri, 11 Jul 2025 07:31:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-14 18:03:54.276767
Title: Enhancing Parameter Control Policies with State Information
Title（参考訳）: 状態情報によるパラメータ制御ポリシーの強化
Authors: Gianluca Covini, Denis Antipov, Carola Doerr,
Abstract要約: 最適あるいは最適に近い制御ポリシーを導出する4つの新しいベンチマークを提案する。アルゴリズムの現在の状態に関する追加情報がどのようにパラメータの選択に役立てるかを検討する。
参考スコア（独自算出の注目度）: 0.44241702149260353
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Parameter control and dynamic algorithm configuration study how to dynamically choose suitable configurations of a parametrized algorithm during the optimization process. Despite being an intensively researched topic in evolutionary computation, optimal control policies are known only for very few cases, limiting the development of automated approaches to achieve them. With this work we propose four new benchmarks for which we derive optimal or close-to-optimal control policies. More precisely, we consider the optimization of the \LeadingOnes function via RLS$_{k}$, a local search algorithm allowing for a dynamic choice of the mutation strength $k$. The benchmarks differ in which information the algorithm can exploit to set its parameters and to select offspring. In existing running time results, the exploitable information is typically limited to the quality of the current-best solution. In this work, we consider how additional information about the current state of the algorithm can help to make better choices of parameters, and how these choices affect the performance. Namely, we allow the algorithm to use information about the current \OneMax value, and we find that it allows much better parameter choices, especially in marginal states. Although those states are rarely visited by the algorithm, such policies yield a notable speed-up in terms of expected runtime. This makes the proposed benchmarks a challenging, but promising testing ground for analysis of parameter control methods in rich state spaces and of their ability to find optimal policies by catching the performance improvements yielded by correct parameter choices.
Abstract（参考訳）: パラメータ制御と動的アルゴリズム構成は、最適化プロセス中にパラメータ化アルゴリズムの適切な構成を動的に選択する方法を研究する。進化計算において集中的に研究されているトピックであるにもかかわらず、最適制御ポリシーはごく少数のケースでしか知られておらず、それを実現するための自動アプローチの開発が制限されている。本研究では,最適あるいは最適に近い制御ポリシーを導出する4つの新しいベンチマークを提案する。より正確には、ローカル検索アルゴリズムである RLS$_{k}$ による \LeadingOnes 関数の最適化を考える。ベンチマークは、アルゴリズムがどの情報を利用してパラメータを設定し、子孫を選択するかによって異なる。既存の実行時間の結果では、悪用可能な情報は、通常、現在のベストソリューションの品質に制限される。本研究では,アルゴリズムの現在の状態に関する追加情報によってパラメータの選択がより良くなり,これらの選択がパフォーマンスにどのように影響するかを検討する。すなわち、アルゴリズムが現在の \OneMax の値に関する情報を使うことを許し、特に限界状態において、パラメータの選択がずっと良いことが分かる。これらの状態はアルゴリズムが訪れることはめったにないが、このようなポリシーは期待される実行時間において顕著なスピードアップをもたらす。提案したベンチマークは、リッチな状態空間におけるパラメータ制御手法の分析と、正しいパラメータ選択によって得られる性能改善をキャッチして最適なポリシーを見つけるための、有望な試験基盤となる。

関連論文リスト

Multi-parameter Control for the $(1+(λ,λ))$-GA on OneMax via Deep Reinforcement Learning [4.482691140663255]
我々は、最先端の深層強化学習技術がいかに優れた制御ポリシーを近似できるかを示す。我々は、既定理論推奨設定を一貫して上回る単純な制御ポリシーを導出する。
論文参考訳（メタデータ） (2025-05-19T11:18:41Z)
Using Automated Algorithm Configuration for Parameter Control [0.7742297876120562]
動的アルゴリズム構成(DAC)は、データ駆動方式でアルゴリズムのパラメータを制御するためのポリシーを自動的に学習する方法の問題に取り組む。我々は,OneMax問題を解くために,$(lambda,lambda)$Genetic Algorithmにおけるキーパラメータ$lambda$の制御を行う新しいDACベンチマークを提案する。我々のアプローチは、十分に大きな問題サイズに関する以前の理論的研究から得られたベンチマークのデフォルトパラメータ制御ポリシーを一貫して上回ることができる。
論文参考訳（メタデータ） (2023-02-23T20:57:47Z)
Theory-inspired Parameter Control Benchmarks for Dynamic Algorithm Configuration [32.055812915031666]
与えられたサイズの最適パラメータポートフォリオの計算方法を示す。可能な値のポートフォリオのみからパラメータを選択できる最適制御ポリシーを解析することにより、このベンチマークを拡張します。動的アルゴリズム構成のためのDDQN強化学習手法の挙動を解析することにより,ベンチマークの有用性を実証する。
論文参考訳（メタデータ） (2022-02-07T15:00:30Z)
Optimistic Policy Optimization is Provably Efficient in Non-stationary MDPs [113.8752163061151]
非定常線形カーネルマルコフ決定過程(MDP)におけるエピソード強化学習(RL)の研究線形最適化アンダーライン最適化アルゴリズム(PROPO)を提案する。 PROPOはスライディングウィンドウベースのポリシー評価と周期的リスタートベースのポリシー改善の2つのメカニズムを特徴としている。
論文参考訳（メタデータ） (2021-10-18T02:33:20Z)
Bayesian Algorithm Execution: Estimating Computable Properties of Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文参考訳（メタデータ） (2021-04-19T17:22:11Z)
Lazy Parameter Tuning and Control: Choosing All Parameters Randomly From a Power-Law Distribution [8.34061303235504]
ほとんどの進化的アルゴリズムは複数のパラメータを持ち、その値は性能に大きな影響を及ぼす。そこで本研究では,各繰り返しにおけるパラメータの値を,適切にスケールされたパワー・ロー分布からランダムに選択する,遅延だが効果的な解を提案する。静的パラメータで知られている最高のパフォーマンスに匹敵する性能を保証する。
論文参考訳（メタデータ） (2021-04-14T09:17:18Z)
On the Optimality of Batch Policy Optimization Algorithms [106.89498352537682]
バッチポリシー最適化は、環境と対話する前に既存のデータをポリシー構築に活用することを検討する。信頼調整インデックスアルゴリズムは楽観的,悲観的,中立的いずれであってもミニマックス最適であることを示す。最適値予測の本来の難易度を考慮した新しい重み付き最小値基準を提案する。
論文参考訳（メタデータ） (2021-04-06T05:23:20Z)
Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文参考訳（メタデータ） (2021-02-17T21:03:05Z)
Leveraging Benchmarking Data for Informed One-Shot Dynamic Algorithm Selection [0.9281671380673306]
進化的アルゴリズムの適用における重要な課題は、目の前の問題に最も適したアルゴリズムインスタンスの選択である。本研究では, 疑似ブール最適化問題の解法として, このような先行性能データを用いて, 動的アルゴリズム選択スキームを推論する方法について分析する。
論文参考訳（メタデータ） (2021-02-12T12:27:02Z)
Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文参考訳（メタデータ） (2020-03-27T06:18:49Z)
Kalman meets Bellman: Improving Policy Evaluation through Value Tracking [59.691919635037216]
政策評価は強化学習(RL)における重要なプロセスである我々はKalman Optimization for Value Approximation (KOVA)と呼ばれる最適化手法を考案した。 KOVAはパラメータとノイズリターンの不確実性の両方に関する正規化対象関数を最小化する。
論文参考訳（メタデータ） (2020-02-17T13:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。