論文の概要: Efficient Hessian-Free Methods for Multi-Objective Bilevel Optimization with Nonconvex Lower Level
- arxiv url: http://arxiv.org/abs/2608.12704v1
- Date: Thu, 13 Aug 2026 01:37:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.359625
- Title: Efficient Hessian-Free Methods for Multi-Objective Bilevel Optimization with Nonconvex Lower Level
- Title（参考訳）: 非凸下値をもつ多目的二値最適化のためのヘシアン非効率的な解法
- Authors: Yicong Jiang, Feihu Huang,
- Abstract要約: モロー理論とモーミー理論の両方の下で収束設定アルゴリズムを提供する。
数ショットのメタ学習とニューラルサーチに関するいくつかの実験は、我々の手法が既存のアプローチより優れていることを示した。
- 参考スコア（独自算出の注目度）: 14.417181686591478
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-objective bilevel optimization has wide applications in the AI area such as automated learning and multi-task meta-learning. Although recently some works have been begun to study the multi-objective bilevel optimization, the proposed methods rely on the (strongly) convex lower level problems. In fact, these multi-objective bilevel learning problems are generally nonconvex, and particularly their lower level problems are nonconvex. To fill this gap, we propose a class of Multi-Objective Moreau Envelope based Hessian-free Algorithms (MOMEHA) to solve the multi-objective bilevel learning problems with nonconvex lower level. Specifically, our method uses the Moreau envelope to convert the original problem into a multi-objective single-level optimization with an envelope constraint. In particular, our method retains computational advantages of being single-loop and Hessian-free in the multi-objective setting by incorporating a smooth weighted Tchebycheff scalarization. Furthermore, we propose a momentum-based variant of MOMEHA (i.e., MB-MOMEHA) method to solve the stochastic multi-objective bilevel learning problems. In theory, we provide the convergence properties of our algorithms under both deterministic and stochastic setting. Some experiments on few-shot meta-learning and neural architecture search demonstrate that our methods outperform the existing approaches in Pareto front, validating its effectiveness and robustness.
- Abstract（参考訳）: 多目的双レベル最適化は、自動学習やマルチタスクメタ学習など、AI分野における幅広い応用がある。
近年、多目的二段階最適化の研究が始まっているが、提案手法は(強く)凸な低レベル問題に依存している。
実際、これらの多目的二段階学習問題は一般に非凸であり、特に低レベル問題は非凸である。
このギャップを埋めるために,多目的モロー・エンベロープに基づくヘッセンフリーアルゴリズム(MOMEHA)のクラスを提案する。
具体的には、モローエンベロープを用いて、元の問題をエンベロープ制約付き多目的単一レベル最適化に変換する。
特に本手法は,スムーズな重み付きチェビシェフスカラー化を取り入れた多目的設定において,単ループおよびヘッセンフリーの計算上の優位性を保っている。
さらに,確率的多目的二段階学習問題の解法として,MOMEHA法(MB-MOMEHA)のモーメントに基づく変種を提案する。
理論的には、決定論的条件と確率的条件の両方の下で、アルゴリズムの収束特性を提供する。
数ショットのメタ学習とニューラルアーキテクチャ検索に関するいくつかの実験は、我々の手法がParetoの既存のアプローチより優れており、その有効性と堅牢性を検証することを実証している。
関連論文リスト
- Efficient First-Order Optimization on the Pareto Set for Multi-Objective Learning under Preference Guidance [41.24995294376129]
ユーザ特定嗜好下での多目的学習は、公正な条件下での多言語音声認識のような実世界の問題で一般的である。
我々は,事前定義された選好関数の最適化を目標とする半ベクタリアル二段階最適化問題として,そのような問題をモデル化する。
修正された単一レベル問題を解くアルゴリズムを提案し,その収束保証を確立する。
論文 参考訳（メタデータ） (2025-03-26T16:41:07Z) - Gradient-Based Multi-Objective Deep Learning: Algorithms, Theories, Applications, and Beyond [35.78910104369677]
本稿では,多目的深層学習のための勾配に基づく手法を包括的に調査する。
既存のアルゴリズムを出力に基づいて体系的に分類する。
この分類に加えて、この調査は理論分析、重要な応用、実践的資源をカバーし、今後の研究に向けたオープンな課題と有望な方向性を強調している。
論文 参考訳（メタデータ） (2025-01-19T04:56:55Z) - UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [51.00436121587591]
マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。
重みベクトル w でパラメトリした線型効用関数の場合に焦点を当てる。
学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
論文 参考訳（メタデータ） (2024-05-01T09:34:42Z) - A First-Order Multi-Gradient Algorithm for Multi-Objective Bi-Level Optimization [7.097069899573992]
マルチオブジェクト・バイ・レベル最適化(MOBLO)問題について検討する。
既存の勾配に基づくMOBLOアルゴリズムはヘッセン行列を計算する必要がある。
FORUMと呼ばれるMOBLOの高効率な1次多重勾配法を提案する。
論文 参考訳（メタデータ） (2024-01-17T15:03:37Z) - Contextual Stochastic Bilevel Optimization [50.36775806399861]
文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。
メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
論文 参考訳（メタデータ） (2023-10-27T23:24:37Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-10-08T23:39:38Z) - Multi-Objective Meta Learning [2.9932638148627104]
統合グラデーションベースのマルチ目的メタラーニング(MOML)フレームワークを提案する。
提案されたMOMLフレームワークの有効性をいくつかのメタラーニング問題で示す。
論文 参考訳（メタデータ） (2021-02-14T10:23:09Z) - Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。
既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。
モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
論文 参考訳（メタデータ） (2020-11-19T22:35:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。