論文の概要: M-HOF-Opt: Multi-Objective Hierarchical Output Feedback Optimization via Multiplier Induced Loss Landscape Scheduling
- arxiv url: http://arxiv.org/abs/2403.13728v2
- Date: Wed, 10 Apr 2024 15:25:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-11 16:47:58.794660
- Title: M-HOF-Opt: Multi-Objective Hierarchical Output Feedback Optimization via Multiplier Induced Loss Landscape Scheduling
- Title（参考訳）: M-HOF-Opt:マルチプライヤ誘導ロススケープスケジューリングによる多目的階層出力フィードバック最適化
- Authors: Xudong Sun, Nutan Chen, Alexej Gossmann, Yu Xing, Carla Feistner, Emilio Dorigatt, Felix Drost, Daniele Scarcella, Lisa Beer, Carsten Marr,
- Abstract要約: ニューラルワークによってパラメータ化された多くの損失項の多目的最適化のための重み乗算器のオンライン選択に対処する。
本手法は乗算器レスであり,エポックの時間スケールで動作する。
また、既存の多目的ディープラーニング手法の過剰なメモリ要件と重い計算負担を回避する。
- 参考スコア（独自算出の注目度）: 4.499391876093543
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We address the online combinatorial choice of weight multipliers for multi-objective optimization of many loss terms parameterized by neural works via a probabilistic graphical model (PGM) for the joint model parameter and multiplier evolution process, with a hypervolume based likelihood promoting multi-objective descent. The corresponding parameter and multiplier estimation as a sequential decision process is then cast into an optimal control problem, where the multi-objective descent goal is dispatched hierarchically into a series of constraint optimization sub-problems. The subproblem constraint automatically adapts itself according to Pareto dominance and serves as the setpoint for the low level multiplier controller to schedule loss landscapes via output feedback of each loss term. Our method is multiplier-free and operates at the timescale of epochs, thus saves tremendous computational resources compared to full training cycle multiplier tuning. It also circumvents the excessive memory requirements and heavy computational burden of existing multi-objective deep learning methods. We applied it to domain invariant variational auto-encoding with 6 loss terms on the PACS domain generalization task, and observed robust performance across a range of controller hyperparameters, as well as different multiplier initial conditions, outperforming other multiplier scheduling methods. We offered modular implementation of our method, admitting extension to custom definition of many loss terms.
- Abstract（参考訳）: 重み付き乗算器のオンライン組合せ選択は,多目的降着を促進するために多目的降着を促すハイパーボリュームをベースとした多目的降着モデルを用いて,確率的グラフィカルモデル(PGM)を用いてニューラルワークによってパラメータ化される多くの損失項の多目的降着数に対する重み乗算器のオンライン組合せ選択に対処する。
次に、逐次決定過程としての対応するパラメータと乗算器の推定を最適制御問題にキャストし、多目的降下目標を階層的に一連の制約最適化サブプロブレムに配置する。
サブプロブレム制約はパレート支配に従って自動的に適応し、損失項の出力フィードバックを介して損失景観をスケジュールする低レベル乗算器コントローラのセットポイントとして機能する。
提案手法はマルチプライヤフリーであり,エポックの時間スケールで動作するため,フルトレーニングサイクルのマルチプライヤチューニングに比べ,膨大な計算資源を節約できる。
また、既存の多目的ディープラーニング手法の過剰なメモリ要件と重い計算負担を回避する。
PACS領域一般化タスクにおいて6つの損失項を持つドメイン不変変分自動符号化に適用し、様々な制御ハイパーパラメータ、および異なる乗算初期条件におけるロバストな性能を観察し、他の乗算器スケジューリング手法よりも優れた性能を示した。
我々は、多くの損失項のカスタム定義の拡張を認めながら、この手法のモジュラー実装を提供した。
関連論文リスト
- Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。
視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。
実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
論文 参考訳（メタデータ） (2024-10-10T17:02:48Z) - A Re-solving Heuristic for Dynamic Assortment Optimization with Knapsack Constraints [14.990988698038686]
資源knapsack制約下でのMNLを用いたマルチステージ動的アソシエーション最適化問題について検討する。
正確な最適動的アソシエーション解を計算的に抽出可能とすることで、決定論的線形プログラムを周期的に最適化する再解法を実践的戦略として採用する。
目的の分母を制約に効果的に変換するエポックな新しい再解法を提案する。
論文 参考訳（メタデータ） (2024-07-08T02:40:20Z) - Transformer-based Stagewise Decomposition for Large-Scale Multistage Stochastic Optimization [1.3124513975412255]
本稿では,トランスフォーマーに基づく段階分解アルゴリズムであるTrranSDDPを紹介する。
本研究では,値関数の分数次線形近似を効率よく生成することを示す。
論文 参考訳（メタデータ） (2024-04-03T09:08:15Z) - Diffusion Model-Based Multiobjective Optimization for Gasoline Blending
Scheduling [30.040728803996256]
ガソリンブレンドスケジューリングは、精製所の生産要求を満たすためにリソース割り当てとオペレーションシークエンシングを使用する。
非線形性、整数制約、および多数の決定変数の存在は、この問題に複雑さをもたらす。
本稿では拡散モデル(DMO)により駆動される新しい多目的最適化手法を提案する。
論文 参考訳（メタデータ） (2024-02-04T05:46:28Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。
シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文 参考訳（メタデータ） (2022-09-15T07:22:58Z) - Robust Constrained Multi-objective Evolutionary Algorithm based on
Polynomial Chaos Expansion for Trajectory Optimization [0.0]
提案手法は,頑健な定式化をPCEを介して決定論的問題に書き換える。
ケーススタディとして,風の不確実性を考慮した超音速輸送(SST)の着陸軌道設計を最適化した。
論文 参考訳（メタデータ） (2022-05-23T15:33:05Z) - Multi-Agent Deep Reinforcement Learning in Vehicular OCC [14.685237010856953]
我々は車載OCCにおけるスペクトル効率最適化手法を提案する。
我々は最適化問題をマルコフ決定プロセス(MDP)としてモデル化し、オンラインで適用可能なソリューションの利用を可能にする。
提案手法の性能を広範囲なシミュレーションにより検証し,提案手法の様々な変種とランダムな手法との比較を行った。
論文 参考訳（メタデータ） (2022-05-05T14:25:54Z) - Neural Stochastic Dual Dynamic Programming [99.80617899593526]
我々は、問題インスタンスを断片的線形値関数にマッピングすることを学ぶトレーニング可能なニューラルモデルを導入する。
$nu$-SDDPは、ソリューションの品質を犠牲にすることなく、問題解決コストを大幅に削減できる。
論文 参考訳（メタデータ） (2021-12-01T22:55:23Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。