論文の概要: Efficient First-Order Optimization on the Pareto Set for Multi-Objective Learning under Preference Guidance

• arxiv url: http://arxiv.org/abs/2504.02854v1
• Date: Wed, 26 Mar 2025 16:41:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-13 06:23:23.426368
• Title: Efficient First-Order Optimization on the Pareto Set for Multi-Objective Learning under Preference Guidance
• Title（参考訳）: 選好指導下での多目的学習のためのパレート集合の効率的な1次最適化
• Authors: Lisha Chen, Quan Xiao, Ellen Hidemi Fukuda, Xinyi Chen, Kun Yuan, Tianyi Chen,
• Abstract要約: ユーザ特定嗜好下での多目的学習は、公正な条件下での多言語音声認識のような実世界の問題で一般的である。 我々は,事前定義された選好関数の最適化を目標とする半ベクタリアル二段階最適化問題として,そのような問題をモデル化する。 修正された単一レベル問題を解くアルゴリズムを提案し,その収束保証を確立する。
• 参考スコア（独自算出の注目度）: 41.24995294376129
• License:
• Abstract: Multi-objective learning under user-specified preference is common in real-world problems such as multi-lingual speech recognition under fairness. In this work, we frame such a problem as a semivectorial bilevel optimization problem, whose goal is to optimize a pre-defined preference function, subject to the constraint that the model parameters are weakly Pareto optimal. To solve this problem, we convert the multi-objective constraints to a single-objective constraint through a merit function with an easy-to-evaluate gradient, and then, we use a penalty-based reformulation of the bilevel optimization problem. We theoretically establish the properties of the merit function, and the relations of solutions for the penalty reformulation and the constrained formulation. Then we propose algorithms to solve the reformulated single-level problem, and establish its convergence guarantees. We test the method on various synthetic and real-world problems. The results demonstrate the effectiveness of the proposed method in finding preference-guided optimal solutions to the multi-objective problem.
• Abstract（参考訳）: ユーザ特定嗜好下での多目的学習は、公正な条件下での多言語音声認識のような実世界の問題で一般的である。 本研究では、モデルパラメータが弱パレート最適であるという制約の下で、事前定義された選好関数の最適化を目標とする半ベクトル的二段階最適化問題として、そのような問題をモデル化する。 この問題を解決するため,多目的制約を利得関数による単目的制約に変換し,二段階最適化問題のペナルティに基づく再定式化を行う。 理論的には、エフェクト関数の性質と、ペナルティ改革のための解と制約付き定式化の関係を確立する。 そこで我々は,修正された単一レベル問題を解き,収束保証を確立するアルゴリズムを提案する。 本手法は,様々な合成および実世界の問題に対して検証する。 その結果,多目的問題に対する選好誘導最適解を求める上で,提案手法の有効性が示された。

関連論文リスト

• Learning Joint Models of Prediction and Optimization [56.04498536842065]
  Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-07T19:52:14Z)
• Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
  機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。 本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。 これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
  論文  参考訳（メタデータ） (2024-03-06T04:43:22Z)
• Smooth Tchebycheff Scalarization for Multi-Objective Optimization [15.047246588148495]
  多目的最適化問題は、目的が相反することが多く、単一のソリューションでは最適化できない、多くの実世界のアプリケーションで見られる。 勾配に基づく多目的最適化のための軽量で効率的なスムーズなTchebycheffスキャラライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-29T12:03:05Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• How to Fill the Optimum Set? Population Gradient Descent with Harmless Diversity [34.790747999729284]
  主損失関数の最適セット内における多様性スコアを最大化する二段階最適化問題を提案する。 提案手法は,テキスト・ツー・イメージ生成,テキスト・ツー・メッシュ生成,分子コンフォーメーション生成,アンサンブルニューラルネットワークトレーニングなど,さまざまなアプリケーション上で,多様なソリューションを効率的に生成できることを示す。
  論文  参考訳（メタデータ） (2022-02-16T23:40:18Z)
• Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
  非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。 本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
  論文  参考訳（メタデータ） (2022-01-28T05:53:28Z)
• Runtime Analysis of Single- and Multi-Objective Evolutionary Algorithms for Chance Constrained Optimization Problems with Normally Distributed Random Variables [11.310502327308575]
  独立して通常は分散しているコンポーネントのシナリオについて研究する。 期待されるコストとその分散をトレードオフする問題を多目的に定式化する。 また,本手法は,木に散らばった最小限の問題に対して最適解の集合を計算するためにも有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-13T09:24:23Z)
• Meta-learning based Alternating Minimization Algorithm for Non-convex Optimization [9.774392581946108]
  複数変数の非プロブレムに挑戦する新しい解を提案する。 提案手法では,他の手法が一般的に失敗するケースに対して,効果的なイテレーションを実現することができる。
  論文  参考訳（メタデータ） (2020-09-09T10:45:00Z)
• Learning the Solution Manifold in Optimization and Its Application in Motion Planning [4.177892889752434]
  我々は、変数のような変数上の多様体を学習し、そのようなモデルは無限の解の集合を表す。 本フレームワークでは,この重要度を用いて問題推定を行う。 本研究では,高次元パラメータの最適化を含む動き計画問題に適用する。
  論文  参考訳（メタデータ） (2020-07-24T08:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。