論文の概要: Learning the Pareto Front with Hypernetworks

• arxiv url: http://arxiv.org/abs/2010.04104v2
• Date: Mon, 26 Apr 2021 07:18:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 12:43:54.539800
• Title: Learning the Pareto Front with Hypernetworks
• Title（参考訳）: pareto frontをハイパーネットワークで学ぶ
• Authors: Aviv Navon and Aviv Shamsian and Gal Chechik and Ethan Fetaya
• Abstract要約: 機械学習では、多目的最適化(MOO)の問題が一般的である。 これらの問題には最適なソリューションのセットがあり、フロントの各ポイントは、衝突する可能性のある目標間の異なるトレードオフを表す。 近年のMOO法は、損失空間において特定の望まれる光線を標的にすることができるが、ほとんどのアプローチは依然として2つの重大な制限に直面している。
• 参考スコア（独自算出の注目度）: 44.72371822514582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-objective optimization (MOO) problems are prevalent in machine learning. These problems have a set of optimal solutions, called the Pareto front, where each point on the front represents a different trade-off between possibly conflicting objectives. Recent MOO methods can target a specific desired ray in loss space however, most approaches still face two grave limitations: (i) A separate model has to be trained for each point on the front; and (ii) The exact trade-off must be known before the optimization process. Here, we tackle the problem of learning the entire Pareto front, with the capability of selecting a desired operating point on the front after training. We call this new setup Pareto-Front Learning (PFL). We describe an approach to PFL implemented using HyperNetworks, which we term Pareto HyperNetworks (PHNs). PHN learns the entire Pareto front simultaneously using a single hypernetwork, which receives as input a desired preference vector and returns a Pareto-optimal model whose loss vector is in the desired ray. The unified model is runtime efficient compared to training multiple models and generalizes to new operating points not used during training. We evaluate our method on a wide set of problems, from multi-task regression and classification to fairness. PHNs learn the entire Pareto front at roughly the same time as learning a single point on the front and at the same time reach a better solution set. Furthermore, we show that PHNs can scale to generate large models like ResNet18. PFL opens the door to new applications where models are selected based on preferences that are only available at run time.
• Abstract（参考訳）: 機械学習では、多目的最適化(MOO)問題が多い。 これらの問題には、Paretoフロントと呼ばれる最適なソリューションセットがあり、フロントの各ポイントは、衝突する可能性のある目標間の異なるトレードオフを表す。 最近のMOO法は、損失空間において特定の望まれる光線を標的にすることができるが、ほとんどのアプローチは以下の2つの重大な制限に直面している。 (i)前の各点ごとに別個のモデルを訓練しなければならない。 (ii)最適化プロセスの前に正確なトレードオフを知る必要がある。 ここでは,訓練後,前部の所望の操作点を選択できるパレートフロント全体を学習する問題に取り組む。 この新しいセットアップをPFL(Pareto-Front Learning)と呼ぶ。 本稿では, HyperNetworks (PHN) を用いて実装した PFL に対するアプローチについて述べる。 PHNは1つのハイパーネットワークを用いてパレートフロント全体を同時に学習し、所望の好みベクトルとして入力され、損失ベクトルが所望の光線にあるパレート最適モデルを返す。 統一モデルは、複数のモデルのトレーニングと比較して実行効率が良く、トレーニング中に使用されない新しい操作ポイントに一般化する。 提案手法は,マルチタスク回帰や分類から公平性に至るまで,幅広い問題に対して評価する。 PHNは、正面の1つの点を学習すると同時に、より良いソリューションセットに到達するのとほぼ同時に、Paretoフロント全体を学習する。 さらに、PHNはResNet18のような大規模モデルを生成するためにスケール可能であることを示す。 PFLは、実行時にのみ利用できる好みに基づいてモデルが選択される新しいアプリケーションへの扉を開く。

関連論文リスト

• Pareto Front Shape-Agnostic Pareto Set Learning in Multi-Objective Optimization [6.810571151954673]
  既存の方法は、目的空間における選好ベクトルを決定空間における最適解にマッピングすることに依存する。 提案手法は, 事前知識を必要とせずに, パレート前面の任意の形状を処理し, パレート集合を学習することができる。
  論文  参考訳（メタデータ） (2024-08-11T14:09:40Z)
• Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
  PaLoRAは、タスク固有の低ランクアダプタでオリジナルのモデルを拡張する、新しいパラメータ効率の手法である。 実験の結果,PaLoRAは様々なデータセットでMTLとPFLのベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-07-10T21:25:51Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models [50.33956216274694]
  マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。 重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
  論文  参考訳（メタデータ） (2022-10-18T11:20:54Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Self-Evolutionary Optimization for Pareto Front Learning [34.17125297176668]
  マルチタスク問題に対する多目的最適化(MOO)手法が提案されている。 最近のMOO法は、単一の統一モデルで複数の最適解(パレートフロント)を近似する。 PFLは複数の目的を持つ別のMOO問題に再変換可能であることを示し、それぞれがタスクの好みの重みに対応していることを示す。
  論文  参考訳（メタデータ） (2021-10-07T13:38:57Z)
• Efficient Multi-Objective Optimization for Deep Learning [2.0305676256390934]
  マルチオブジェクト最適化(MOO)はディープラーニングの一般的な課題です。 真に深いニューラルネットワークのためのスケーラブルなMOOソリューションはありません。
  論文  参考訳（メタデータ） (2021-03-24T17:59:42Z)
• Controllable Pareto Multi-Task Learning [55.945680594691076]
  マルチタスク学習システムは,複数のタスクを同時に解決することを目的としている。 固定されたモデルキャパシティでは、タスクは互いに衝突し、システムは通常、それらすべてを学ぶためにトレードオフをしなければならない。 本研究では,異なるタスク間のリアルタイムなトレードオフ制御を実現するための,新しい制御可能なマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T11:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。