論文の概要: Multi-Objective Bilevel Learning

• arxiv url: http://arxiv.org/abs/2511.07824v1
• Date: Wed, 12 Nov 2025 01:22:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.497362
• Title: Multi-Objective Bilevel Learning
• Title（参考訳）: 多目的二段階学習
• Authors: Zhiyao Zhang, Zhuqing Liu, Xin Zhang, Wen-Yen Chen, Jiyan Yang, Jia Liu,
• Abstract要約: 多目的二段階学習(MOBL)の理論的・アルゴリズム的基礎について検討する。 我々のゴールは、効率的なMOBL最適化アルゴリズムを開発することである。 我々は、重み付きチェビシェフ多重高次勾配(WC-MHGD)と呼ばれる統一的なアルゴリズムフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 12.198330173886587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As machine learning (ML) applications grow increasingly complex in recent years, modern ML frameworks often need to address multiple potentially conflicting objectives with coupled decision variables across different layers. This creates a compelling need for multi-objective bilevel learning (MOBL). So far, however, the field of MOBL remains in its infancy and many important problems remain under-explored. This motivates us to fill this gap and systematically investigate the theoretical and algorithmic foundation of MOBL. Specifically, we consider MOBL problems with multiple conflicting objectives guided by preferences at the upper-level subproblem, where part of the inputs depend on the optimal solution of the lower-level subproblem. Our goal is to develop efficient MOBL optimization algorithms to (1) identify a preference-guided Pareto-stationary solution with low oracle complexity; and (2) enable systematic Pareto front exploration. To this end, we propose a unifying algorithmic framework called weighted-Chebyshev multi-hyper-gradient-descent (WC-MHGD) for both deterministic and stochastic settings with finite-time Pareto-stationarity convergence rate guarantees, which not only implies low oracle complexity but also induces systematic Pareto front exploration. We further conduct extensive experiments to confirm our theoretical results.
• Abstract（参考訳）: 近年、機械学習(ML)アプリケーションが複雑化するにつれて、現代のMLフレームワークは、異なるレイヤにまたがる複合的な決定変数によって、競合する可能性のある複数の目標に対処する必要があることが多い。 これにより、多目的二段階学習(MOBL)に対する魅力的なニーズが生まれる。 しかし、今のところMOBLの分野は未熟であり、多くの重要な問題が未解決のままである。 このことは、このギャップを埋め、MOBLの理論的およびアルゴリズム的基礎を体系的に研究する動機となっている。 具体的には、入力の一部が下層サブプロブレムの最適解に依存する場合、上位層サブプロブレムの選好によって導かれる複数の競合対象を持つMOBL問題を考察する。 我々のゴールは,(1) オーラクルの複雑さの低い優先誘導型パレート定常解を同定し,(2) 系統的なパレートフロント探索を可能にする,効率的なMOBL最適化アルゴリズムを開発することである。 そこで本研究では, 有限時間パレート・定常収束率保証を用いた決定論的および確率的設定のための重み付きチェビシェフ多過性偏光(WC-MHGD)と呼ばれる一元化アルゴリズムフレームワークを提案する。 さらに、我々の理論結果を確認するために広範な実験を行う。

関連論文リスト

• Solving the Granularity Mismatch: Hierarchical Preference Learning for Long-Horizon LLM Agents [56.625878022978945]
  自律的なエージェントとしての大規模言語モデル(LLM)は、複雑で長期にわたる問題の解決にますます取り組まれている。 直接優先度最適化(DPO)は、正確なクレジット代入には大きすぎる信号を提供するが、ステップレベルのDPOは、しばしば、複数のステップの振る舞いの値をキャプチャするには、筋が通らない。 階層的選好学習(HPL)は、複数の相乗的粒度における選好信号を活用することで、LLMエージェントを最適化する階層的フレームワークである。
  論文  参考訳（メタデータ） (2025-09-26T08:43:39Z)
• LLM4CMO: Large Language Model-aided Algorithm Design for Constrained Multiobjective Optimization [54.35609820607923]
  大規模言語モデル(LLM)は、アルゴリズム設計を支援する新しい機会を提供する。 LLM4CMOは,2つの人口構成をもつ2段階のフレームワークをベースとした新しいCMOEAである。 LLMは複雑な進化最適化アルゴリズムの開発において効率的な共同設計者として機能する。
  論文  参考訳（メタデータ） (2025-08-16T02:00:57Z)
• Why Do Multi-Agent LLM Systems Fail? [87.90075668488434]
  MAST-Dataは7つの人気のあるMASフレームワークで収集された1600以上の注釈付きトレースの包括的なデータセットである。 我々はMAST(Multi-Agent System Failure Taxonomy)を初めて構築する。 MASTとMAST-Dataを利用して、モデル(GPT4、Claude 3、Qwen2.5、CodeLlama)とタスク(コーディング、数学、汎用エージェント)の障害パターンを分析します。
  論文  参考訳（メタデータ） (2025-03-17T19:04:38Z)
• On Generalization Across Environments In Multi-Objective Reinforcement Learning [6.686583184622338]
  我々は,多目的強化学習(MORL)における一般化の概念を定式化し,その評価方法について述べる。 パラメータ化された環境構成を持つ多目的ドメインを特徴とする新しいベンチマークを提案。 このベンチマークにおける最先端のMORLアルゴリズムのベースライン評価は、限定的な一般化能力を示し、改善の余地があることを示唆している。
  論文  参考訳（メタデータ） (2025-03-02T08:50:14Z)
• Common pitfalls to avoid while using multiobjective optimization in machine learning [1.1650821883155187]
  機械学習(ML)における多目的最適化(MOO)の適用に対する関心が高まっている。 その可能性にもかかわらず、MOOを効果的に適用することを目指すML実践者のエントリーレベルガイドとして機能する満足度の高い文献が欠如している。 我々は、MOOが適用された様々なML分野における既存の研究を批判的にレビューし、誤った解釈につながる可能性のある課題を特定する。
  論文  参考訳（メタデータ） (2024-05-02T17:12:25Z)
• Federated Multi-Objective Learning [22.875284692358683]
  複数のクライアントを用いたFMOL(Federated Multi-Objective Learning)フレームワークを提案する。 私たちのFMOLフレームワークは、異なるクライアント間で異なる目的関数セットを提供し、幅広いアプリケーションをサポートします。 本フレームワークでは,FSMGDA (Federated Multi-gradient descent Averaging) とFSMGDA (Federated Multi-gradient descent Averaging) という2つの新しいFMOOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-15T15:45:51Z)
• Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond [114.39616146985001]
  機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。 本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。 次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
  論文  参考訳（メタデータ） (2021-01-27T16:20:23Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。