論文の概要: Efficient Multi-Objective Optimization for Deep Learning

• arxiv url: http://arxiv.org/abs/2103.13392v1
• Date: Wed, 24 Mar 2021 17:59:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 13:33:35.002719
• Title: Efficient Multi-Objective Optimization for Deep Learning
• Title（参考訳）: ディープラーニングのための効率的な多目的最適化
• Authors: Michael Ruchte and Josif Grabocka
• Abstract要約: マルチオブジェクト最適化(MOO)はディープラーニングの一般的な課題です。 真に深いニューラルネットワークのためのスケーラブルなMOOソリューションはありません。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-objective optimization (MOO) is a prevalent challenge for Deep Learning, however, there exists no scalable MOO solution for truly deep neural networks. Prior work either demand optimizing a new network for every point on the Pareto front, or induce a large overhead to the number of trainable parameters by using hyper-networks conditioned on modifiable preferences. In this paper, we propose to condition the network directly on these preferences by augmenting them to the feature space. Furthermore, we ensure a well-spread Pareto front by penalizing the solutions to maintain a small angle to the preference vector. In a series of experiments, we demonstrate that our Pareto fronts achieve state-of-the-art quality despite being computed significantly faster. Furthermore, we showcase the scalability as our method approximates the full Pareto front on the CelebA dataset with an EfficientNet network at a tiny training time overhead of 7% compared to a simple single-objective optimization. We make our code publicly available at https://github.com/ruchtem/cosmos.
• Abstract（参考訳）: マルチオブジェクト最適化(MOO)はディープラーニングにとって一般的な課題だが、真のディープニューラルネットワークのためのスケーラブルなMOOソリューションは存在しない。 事前の作業では、パレートフロントの各点で新しいネットワークを最適化するか、変更可能な好みに基づいて条件づけされたハイパーネットワークを使用することで、トレーニング可能なパラメータの数に大きなオーバーヘッドを課すかのどちらかである。 本稿では,特徴空間に拡張することで,これらの嗜好を直接ネットワークに適応させることを提案する。 さらに, 解をペナルティ化し, 選好ベクトルに対する角度を小さく保つことで, 読みやすいパレート面を確保する。 実験では, 計算速度が大幅に向上したにもかかわらず, パレートフロントが最先端の品質を達成できることを実証した。 さらに,提案手法がcelebaデータセットのparetoフロントに近似し,単純な単一目的最適化と比較して,学習時間のオーバーヘッドがわずか7%で効率的なネットワークを実現することでスケーラビリティを示す。 コードをhttps://github.com/ruchtem/cosmos.comで公開しています。

関連論文リスト

• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Hyperparameter Optimization through Neural Network Partitioning [11.6941692990626]
  本稿では,ニューラルネットワークにおけるハイパーパラメータの最適化をシンプルかつ効率的に行う方法を提案する。 本手法では,トレーニングデータとニューラルネットワークモデルをデータシャードとパラメータ分割に$K$に分割する。 我々は、この目的を単一のトレーニングランで様々なハイパーパラメータを最適化するために適用できることを実証した。
  論文  参考訳（メタデータ） (2023-04-28T11:24:41Z)
• Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models [50.33956216274694]
  マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。 重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
  論文  参考訳（メタデータ） (2022-10-18T11:20:54Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Self-Evolutionary Optimization for Pareto Front Learning [34.17125297176668]
  マルチタスク問題に対する多目的最適化(MOO)手法が提案されている。 最近のMOO法は、単一の統一モデルで複数の最適解(パレートフロント)を近似する。 PFLは複数の目的を持つ別のMOO問題に再変換可能であることを示し、それぞれがタスクの好みの重みに対応していることを示す。
  論文  参考訳（メタデータ） (2021-10-07T13:38:57Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Learning the Pareto Front with Hypernetworks [44.72371822514582]
  機械学習では、多目的最適化(MOO)の問題が一般的である。 これらの問題には最適なソリューションのセットがあり、フロントの各ポイントは、衝突する可能性のある目標間の異なるトレードオフを表す。 近年のMOO法は、損失空間において特定の望まれる光線を標的にすることができるが、ほとんどのアプローチは依然として2つの重大な制限に直面している。
  論文  参考訳（メタデータ） (2020-10-08T16:39:20Z)
• Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach [0.0]
  本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。 模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
  論文  参考訳（メタデータ） (2020-08-31T13:28:03Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。