論文の概要: MMD-Newton Method for Multi-objective Optimization

• arxiv url: http://arxiv.org/abs/2505.14610v1
• Date: Tue, 20 May 2025 16:56:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.59817
• Title: MMD-Newton Method for Multi-objective Optimization
• Title（参考訳）: 多目的最適化のためのMDD-Newton法
• Authors: Hao Wang, Chenyu Shi, Angel E. Rodriguez-Fernandez, Oliver Schütze,
• Abstract要約: 連続多目的最適化問題(MOP)の解法としてMDDを提案する。 我々は,MMDをベースとした新しい手法であるNewton(MMDN)を考案した。 広範に使用されている11のベンチマーク問題に対して,ハイブリッドアルゴリズムを実証的に検証した。
• 参考スコア（独自算出の注目度）: 3.8926796690238694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Maximum mean discrepancy (MMD) has been widely employed to measure the distance between probability distributions. In this paper, we propose using MMD to solve continuous multi-objective optimization problems (MOPs). For solving MOPs, a common approach is to minimize the distance (e.g., Hausdorff) between a finite approximate set of the Pareto front and a reference set. Viewing these two sets as empirical measures, we propose using MMD to measure the distance between them. To minimize the MMD value, we provide the analytical expression of its gradient and Hessian matrix w.r.t. the search variables, and use them to devise a novel set-oriented, MMD-based Newton (MMDN) method. Also, we analyze the theoretical properties of MMD's gradient and Hessian, including the first-order stationary condition and the eigenspectrum of the Hessian, which are important for verifying the correctness of MMDN. To solve complicated problems, we propose hybridizing MMDN with multiobjective evolutionary algorithms (MOEAs), where we first execute an EA for several iterations to get close to the global Pareto front and then warm-start MMDN with the result of the MOEA to efficiently refine the approximation. We empirically test the hybrid algorithm on 11 widely used benchmark problems, and the results show the hybrid (MMDN + MOEA) can achieve a much better optimization accuracy than EA alone with the same computation budget.
• Abstract（参考訳）: 最大平均誤差(MMD)は確率分布間の距離を測定するために広く用いられている。 本稿では,MDDを用いて連続多目的最適化問題(MOP)の解法を提案する。 MOPを解くための一般的なアプローチは、パレートフロントの有限近似集合と参照集合の間の距離(例えばハウスドルフ)を最小化することである。 これら2つの集合を経験的尺度とみなし、MDDを用いてそれらの間の距離を測定することを提案する。 MMD値の最小化のために、探索変数の勾配とヘシアン行列 w.r.t の解析式を提供し、それを用いて新しいセット指向のMMDベースニュートン法(MMDN)を考案する。 また、MDNの正当性を検証する上で重要な1次定常条件とヘッセンスペクトルを含むMDDの勾配とヘッセンの理論的性質を解析する。 複雑な問題を解くため,我々はMOEAを多目的進化アルゴリズム (MOEA) とハイブリダイゼーションし,まず数回のイテレーションでEAを実行し,MOEAの結果によりMDNを温め,近似を効率的に洗練する手法を提案する。 実験により,11個のベンチマーク問題に対してハイブリッドアルゴリズムを実験的に検証し,計算予算が同じである場合,ハイブリッドアルゴリズム(MMDN+MOEA)はEA単独よりも優れた最適化精度が得られることを示した。

関連論文リスト

• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice [79.48432795639403]
  ミラー降下値反復(MDVI)は、KL(Kulback-Leibler)とRL(Entropy-regularized reinforcement learning)の抽象化である。 MDVIを線形関数近似を用いて研究し,$varepsilon$-optimal policyを同定するために必要なサンプル複雑性について検討した。 我々は,無限水平線形MDPに対して,最小限のサンプル複雑性を実現する最初の理論的アルゴリズムである分散重み付き最小二乗法MDVIを提案する。
  論文  参考訳（メタデータ） (2023-05-22T16:13:05Z)
• On Accelerating Diffusion-Based Sampling Process via Improved Integration Approximation [12.882586878998579]
  拡散に基づく生成モデルをサンプリングする一般的なアプローチは、常微分方程式(ODE)を解くことである。 改良された積分近似(IIA)を用いて特定の係数を最適化することにより、人気のあるODEベースのサンプリングプロセスの高速化を検討する。 また,IIA-EDM,IIA-DDIM,IIA-DPM-rを用いて,FIDスコアを従来よりも大幅に向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-22T06:06:28Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• A Simple Evolutionary Algorithm for Multi-modal Multi-objective Optimization [0.0]
  マルチモーダル・多目的最適化問題(MMOP)を解くための定常進化アルゴリズムを提案する。 本報告では,1000関数評価の低計算予算を用いて,様々なテストスイートから得られた21個のMMOPの性能について報告する。
  論文  参考訳（メタデータ） (2022-01-18T03:31:11Z)
• A Deterministic Sampling Method via Maximum Mean Discrepancy Flow with Adaptive Kernel [5.618322163107168]
  本稿では,カーネルの不一致を最小限に抑えて,ターゲット分布を$rho*$に近似する新しい決定論的サンプリング手法を提案する。 EVI-MMDアルゴリズムを用いて2種類のサンプリング問題を解く。
  論文  参考訳（メタデータ） (2021-11-21T03:09:07Z)
• Robust Multi-view Registration of Point Sets with Laplacian Mixture Model [25.865100974015412]
  重み付きラプラシアン分布に基づいて複数の点集合を整列させる新しい確率的生成法を提案する。 本稿では,提案手法の利点を,ベンチマークの挑戦的データセットに対する最先端手法と比較することによって示す。
  論文  参考訳（メタデータ） (2021-10-26T14:49:09Z)
• ConCrete MAP: Learning a Probabilistic Relaxation of Discrete Variables for Soft Estimation with Low Complexity [9.62543698736491]
  ConCrete MAP Detection (CMD)は、大きな逆線形問題に対する反復検出アルゴリズムである。 我々は、SotAと比較して、CMDが有望なパフォーマンス複雑性のトレードオフを特徴付けることを示す。 特に,CMDのソフト出力がデコーダに信頼性を持つことを示す。
  論文  参考訳（メタデータ） (2021-02-25T09:54:25Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。