論文の概要: Self-Evolutionary Optimization for Pareto Front Learning
- arxiv url: http://arxiv.org/abs/2110.03461v1
- Date: Thu, 7 Oct 2021 13:38:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-09 00:11:04.837939
- Title: Self-Evolutionary Optimization for Pareto Front Learning
- Title（参考訳）: パレートフロントラーニングのための自己進化的最適化
- Authors: Simyung Chang, KiYoon Yoo, Jiho Jang and Nojun Kwak
- Abstract要約: マルチタスク問題に対する多目的最適化(MOO)手法が提案されている。
最近のMOO法は、単一の統一モデルで複数の最適解(パレートフロント)を近似する。
PFLは複数の目的を持つ別のMOO問題に再変換可能であることを示し、それぞれがタスクの好みの重みに対応していることを示す。
- 参考スコア（独自算出の注目度）: 34.17125297176668
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-task learning (MTL), which aims to improve performance by learning
multiple tasks simultaneously, inherently presents an optimization challenge
due to multiple objectives. Hence, multi-objective optimization (MOO)
approaches have been proposed for multitasking problems. Recent MOO methods
approximate multiple optimal solutions (Pareto front) with a single unified
model, which is collectively referred to as Pareto front learning (PFL). In
this paper, we show that PFL can be re-formulated into another MOO problem with
multiple objectives, each of which corresponds to different preference weights
for the tasks. We leverage an evolutionary algorithm (EA) to propose a method
for PFL called self-evolutionary optimization (SEO) by directly maximizing the
hypervolume. By using SEO, the neural network learns to approximate the Pareto
front conditioned on multiple hyper-parameters that drastically affect the
hypervolume. Then, by generating a population of approximations simply by
inferencing the network, the hyper-parameters of the network can be optimized
by EA. Utilizing SEO for PFL, we also introduce self-evolutionary Pareto
networks (SEPNet), enabling the unified model to approximate the entire Pareto
front set that maximizes the hypervolume. Extensive experimental results
confirm that SEPNet can find a better Pareto front than the current
state-of-the-art methods while minimizing the increase in model size and
training cost.
- Abstract（参考訳）: マルチタスク学習(MTL)は、複数のタスクを同時に学習することでパフォーマンスを向上させることを目的としている。
したがって、マルチタスク問題に対して多目的最適化(moo)アプローチが提案されている。
最近のMOO法は、パレートフロントラーニング(PFL)と呼ばれる単一の統一モデルを用いて、複数の最適解(パレートフロント)を近似している。
本稿では、PFLを複数の目的を持つ別のMOO問題に再変換できることを示し、それぞれがタスクの好みの重みに一致することを示す。
我々は進化的アルゴリズム(EA)を活用し、超体積を直接最大化することで自己進化最適化(SEO)と呼ばれるPFLの手法を提案する。
SEOを使用することで、ニューラルネットワークは、ハイパーボリュームに大きく影響する複数のハイパーパラメータ上で条件付けられたParetoフロントを近似することを学ぶ。
そして、ネットワークを参照するだけで近似の集団を生成することにより、ネットワークのハイパーパラメータをEAによって最適化することができる。
また,PFLのSEOを利用して自己進化型パレートネットワーク(SEPNet)を導入し,高体積を最大化するパレートフロントセット全体の近似を可能にする。
大規模な実験結果から、SEPNetはモデルサイズとトレーニングコストの増大を最小限に抑えつつ、現在の最先端手法よりも優れたParetoフロントを見つけることができることが確認された。
関連論文リスト
- Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
PaLoRAは、タスク固有の低ランクアダプタでオリジナルのモデルを拡張する、新しいパラメータ効率の手法である。
実験の結果,PaLoRAは様々なデータセットでMTLとPFLのベースラインを上回っていることがわかった。
論文 参考訳（メタデータ） (2024-07-10T21:25:51Z) - Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。
本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。
特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
論文 参考訳（メタデータ） (2024-06-14T07:16:18Z) - Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。
MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。
Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
論文 参考訳（メタデータ） (2024-04-13T12:14:58Z) - Interactive Hyperparameter Optimization in Multi-Objective Problems via
Preference Learning [65.51668094117802]
我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。
ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
論文 参考訳（メタデータ） (2023-09-07T09:22:05Z) - Improving Pareto Front Learning via Multi-Sample Hypernetworks [4.129225533930966]
提案するPFLフレームワークであるPHN-HVIは,多種多様なトレードオフ選好から複数のソリューションを生成するハイパーネットワークである。
複数のMOO機械学習タスクの実験結果から,提案手法がベースラインを著しく上回ることが示された。
論文 参考訳（メタデータ） (2022-12-02T12:19:12Z) - Pareto Manifold Learning: Tackling multiple tasks via ensembles of
single-task models [50.33956216274694]
マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。
重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
論文 参考訳（メタデータ） (2022-10-18T11:20:54Z) - Efficient Multi-Objective Optimization for Deep Learning [2.0305676256390934]
マルチオブジェクト最適化(MOO)はディープラーニングの一般的な課題です。
真に深いニューラルネットワークのためのスケーラブルなMOOソリューションはありません。
論文 参考訳（メタデータ） (2021-03-24T17:59:42Z) - Multi-path Neural Networks for On-device Multi-domain Visual
Classification [55.281139434736254]
本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。
提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。
決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
論文 参考訳（メタデータ） (2020-10-10T05:13:49Z) - Learning the Pareto Front with Hypernetworks [44.72371822514582]
機械学習では、多目的最適化(MOO)の問題が一般的である。
これらの問題には最適なソリューションのセットがあり、フロントの各ポイントは、衝突する可能性のある目標間の異なるトレードオフを表す。
近年のMOO法は、損失空間において特定の望まれる光線を標的にすることができるが、ほとんどのアプローチは依然として2つの重大な制限に直面している。
論文 参考訳（メタデータ） (2020-10-08T16:39:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。