論文の概要: Deep-ELA: Deep Exploratory Landscape Analysis with Self-Supervised Pretrained Transformers for Single- and Multi-Objective Continuous Optimization Problems

• arxiv url: http://arxiv.org/abs/2401.01192v1
• Date: Tue, 2 Jan 2024 12:41:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 14:02:06.081449
• Title: Deep-ELA: Deep Exploratory Landscape Analysis with Self-Supervised Pretrained Transformers for Single- and Multi-Objective Continuous Optimization Problems
• Title（参考訳）: Deep-ELA: 単目的・多目的連続最適化問題に対する自己監督型事前学習変圧器を用いた深部探査景観解析
• Authors: Moritz Vinzent Seiler and Pascal Kerschke and Heike Trautmann
• Abstract要約: 本稿では,ディープラーニングとERA機能を組み合わせたハイブリッドアプローチであるDeep-ELAを提案する。 提案するフレームワークは、単目的および多目的の連続最適化問題を分析するために、最初から利用できるか、あるいは様々なタスクに微調整することができる。
• 参考スコア（独自算出の注目度）: 0.6138671548064356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many recent works, the potential of Exploratory Landscape Analysis (ELA) features to numerically characterize, in particular, single-objective continuous optimization problems has been demonstrated. These numerical features provide the input for all kinds of machine learning tasks on continuous optimization problems, ranging, i.a., from High-level Property Prediction to Automated Algorithm Selection and Automated Algorithm Configuration. Without ELA features, analyzing and understanding the characteristics of single-objective continuous optimization problems would be impossible. Yet, despite their undisputed usefulness, ELA features suffer from several drawbacks. These include, in particular, (1.) a strong correlation between multiple features, as well as (2.) its very limited applicability to multi-objective continuous optimization problems. As a remedy, recent works proposed deep learning-based approaches as alternatives to ELA. In these works, e.g., point-cloud transformers were used to characterize an optimization problem's fitness landscape. However, these approaches require a large amount of labeled training data. Within this work, we propose a hybrid approach, Deep-ELA, which combines (the benefits of) deep learning and ELA features. Specifically, we pre-trained four transformers on millions of randomly generated optimization problems to learn deep representations of the landscapes of continuous single- and multi-objective optimization problems. Our proposed framework can either be used out-of-the-box for analyzing single- and multi-objective continuous optimization problems, or subsequently fine-tuned to various tasks focussing on algorithm behavior and problem understanding.
• Abstract（参考訳）: 近年の多くの研究で,特に単目的連続最適化問題において,探索景観解析(ELA)が数値的に特徴付ける可能性が示されている。 これらの数値機能は、高レベルな特性予測からアルゴリズムの自動選択、アルゴリズムの自動設定まで、連続最適化問題におけるあらゆる種類の機械学習タスクの入力を提供する。 ela機能がないと、単一目的の継続的最適化問題の特徴の分析と理解は不可能でしょう。 しかし、ELAの機能にはいくつかの欠点がある。 これには、(1.)複数の特徴の間の強い相関関係、(2.)多目的連続最適化問題への非常に限定的な適用性が含まれる。 修正として、最近の研究はelaの代替としてディープラーニングベースのアプローチを提案している。 これらの研究において、例えば、点雲変換器は最適化問題のフィットネスランドスケープを特徴づけるために用いられた。 しかし、これらのアプローチには大量のラベル付きトレーニングデータが必要である。 本研究では,ディープラーニングとERAの機能を組み合わせたハイブリッドアプローチであるDeep-ELAを提案する。 具体的には、無作為な最適化問題に対して、4つのトランスフォーマーを事前訓練し、連続的な単目的および多目的最適化問題のランドスケープの深い表現を学習した。 提案手法は, 単目的および多目的の連続最適化問題の解析に利用できるか, アルゴリズムの振る舞いや問題理解に焦点を絞った様々なタスクに微調整することができる。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Learning Joint Models of Prediction and Optimization [56.04498536842065]
  Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-07T19:52:14Z)
• Trajectory-Based Multi-Objective Hyperparameter Optimization for Model Retraining [8.598456741786801]
  本稿では,新しいトラジェクトリベース多目的ベイズ最適化アルゴリズムを提案する。 我々のアルゴリズムは、より優れたトレードオフとチューニング効率の両面において、最先端のマルチオブジェクトよりも優れています。
  論文  参考訳（メタデータ） (2024-05-24T07:43:45Z)
• UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [75.11267478778295]
  マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。 重みベクトル w でパラメータ化される線型効用関数の場合に焦点を当てる。 学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T09:34:42Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Multi-Objective Optimization for Sparse Deep Multi-Task Learning [0.0]
  重み付きチェビシェフスキャラライゼーションを用いたディープニューラルネットワーク(DNN)のトレーニングのための多目的最適化アルゴリズムを提案する。 本研究の目的は,DNNモデルの持続可能性問題,特にDeep Multi-Taskモデルに焦点をあてることである。
  論文  参考訳（メタデータ） (2023-08-23T16:42:27Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Batched Data-Driven Evolutionary Multi-Objective Optimization Based on Manifold Interpolation [6.560512252982714]
  バッチ化されたデータ駆動型進化的多目的最適化を実現するためのフレームワークを提案する。 オフザシェルフ進化的多目的最適化アルゴリズムがプラグイン方式で適用できるのは、非常に一般的である。 提案するフレームワークは, より高速な収束と各種PF形状に対する強いレジリエンスを特徴とする。
  論文  参考訳（メタデータ） (2021-09-12T23:54:26Z)
• Empirical Study on the Benefits of Multiobjectivization for Solving Single-Objective Problems [0.0]
  局所オプティマはしばしばアルゴリズムの進行を防ぎ、深刻な脅威を引き起こす。 マルチオブジェクトの勾配に基づく高度な可視化技術を用いて,出現するマルチオブジェクトの景観の特性を図示し,考察した。 我々は,多目的COCOMOGSAがこれらの特性を利用して局所トラップを克服できることを実証的に示す。
  論文  参考訳（メタデータ） (2020-06-25T14:04:37Z)
• Visualising Evolution History in Multi- and Many-Objective Optimisation [0.9453554184019108]
  この研究は、人口の可視化を最適化プロセスの実行と見なしている。 我々は,既存の可視化手法を多目的・多目的問題データに適用した。 このフレームワークが、多目的および多目的のベンチマークテスト問題にどのように有効かを示してきた。
  論文  参考訳（メタデータ） (2020-06-22T14:45:03Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。