論文の概要: M-HOF-Opt: Multi-Objective Hierarchical Output Feedback Optimization via Multiplier Induced Loss Landscape Scheduling
- arxiv url: http://arxiv.org/abs/2403.13728v1
- Date: Wed, 20 Mar 2024 16:38:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 16:08:57.422668
- Title: M-HOF-Opt: Multi-Objective Hierarchical Output Feedback Optimization via Multiplier Induced Loss Landscape Scheduling
- Title（参考訳）: M-HOF-Opt:マルチプライヤ誘導ロススケープスケジューリングによる多目的階層出力フィードバック最適化
- Authors: Xudong Sun, Nutan Chen, Alexej Gossmann, Yu Xing, Carla Feistner, Emilio Dorigatt, Felix Drost, Daniele Scarcella, Lisa Beer, Carsten Marr,
- Abstract要約: 結合モデルパラメータと乗算器進化過程のグラフモデル(PGM)を提案する。
次に、逐次決定過程としての対応するパラメータと乗算器の推定を最適制御問題にキャストする。
多目的降下ゴールは、一連の制約最適化サブプロブレムに階層的に送られる。
- 参考スコア（独自算出の注目度）: 4.499391876093543
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a neural network parameterized loss function consists of many terms, the combinatorial choice of weight multipliers during the optimization process forms a challenging problem. To address this, we proposed a probabilistic graphical model (PGM) for the joint model parameter and multiplier evolution process, with a hypervolume based likelihood that promotes multi-objective descent of each loss term. The corresponding parameter and multiplier estimation as a sequential decision process is then cast into an optimal control problem, where the multi-objective descent goal is dispatched hierarchically into a series of constraint optimization sub-problems. The sub-problem constraint automatically adapts itself according to Pareto dominance and serves as the setpoint for the low level multiplier controller to schedule loss landscapes via output feedback of each loss term. Our method is multiplier-free and operates at the timescale of epochs, thus saves tremendous computational resources compared to full training cycle multiplier tuning. We applied it to domain invariant variational auto-encoding with 6 loss terms on the PACS domain generalization task, and observed robust performance across a range of controller hyperparameters, as well as different multiplier initial conditions, outperforming other multiplier scheduling methods. We offered modular implementation of our method, admitting custom definition of many loss terms for applying our multi-objective hierarchical output feedback training scheme to other deep learning fields.
- Abstract（参考訳）: ニューラルネットワークのパラメータ化損失関数が多くの項からなる場合、最適化過程における重み乗算の組合せ選択は難しい問題となる。
これを解決するために,各損失項の多目的降下を促進するハイパーボリュームベース確率を用いて,結合モデルパラメータと乗算器進化過程の確率的グラフィカルモデル(PGM)を提案する。
次に、逐次決定過程としての対応するパラメータと乗算器の推定を最適制御問題にキャストし、多目的降下目標を階層的に一連の制約最適化サブプロブレムに配置する。
サブプロブレム制約は、パレート支配に従って自動的に適応し、損失項の出力フィードバックを介して損失景観をスケジュールする低レベル乗算器コントローラのセットポイントとして機能する。
提案手法はマルチプライヤフリーであり,エポックの時間スケールで動作するため,フルトレーニングサイクルのマルチプライヤチューニングと比較して,膨大な計算資源を節約できる。
PACS領域一般化タスクにおいて6つの損失項を持つドメイン不変変分自動符号化に適用し、様々な制御ハイパーパラメータ、および異なる乗算初期条件におけるロバストな性能を観察し、他の乗算器スケジューリング手法よりも優れた性能を示した。
我々は,多目的階層型出力フィードバックトレーニングスキームを他の深層学習分野に適用するために,多くの損失項をカスタムで定義した。
関連論文リスト
- Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。
視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。
実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
論文 参考訳（メタデータ） (2024-10-10T17:02:48Z) - A Re-solving Heuristic for Dynamic Assortment Optimization with Knapsack Constraints [14.990988698038686]
資源knapsack制約下でのMNLを用いたマルチステージ動的アソシエーション最適化問題について検討する。
正確な最適動的アソシエーション解を計算的に抽出可能とすることで、決定論的線形プログラムを周期的に最適化する再解法を実践的戦略として採用する。
目的の分母を制約に効果的に変換するエポックな新しい再解法を提案する。
論文 参考訳（メタデータ） (2024-07-08T02:40:20Z) - Transformer-based Stagewise Decomposition for Large-Scale Multistage Stochastic Optimization [1.3124513975412255]
本稿では,トランスフォーマーに基づく段階分解アルゴリズムであるTrranSDDPを紹介する。
本研究では,値関数の分数次線形近似を効率よく生成することを示す。
論文 参考訳（メタデータ） (2024-04-03T09:08:15Z) - Diffusion Model-Based Multiobjective Optimization for Gasoline Blending
Scheduling [30.040728803996256]
ガソリンブレンドスケジューリングは、精製所の生産要求を満たすためにリソース割り当てとオペレーションシークエンシングを使用する。
非線形性、整数制約、および多数の決定変数の存在は、この問題に複雑さをもたらす。
本稿では拡散モデル(DMO)により駆動される新しい多目的最適化手法を提案する。
論文 参考訳（メタデータ） (2024-02-04T05:46:28Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。
シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文 参考訳（メタデータ） (2022-09-15T07:22:58Z) - Robust Constrained Multi-objective Evolutionary Algorithm based on
Polynomial Chaos Expansion for Trajectory Optimization [0.0]
提案手法は,頑健な定式化をPCEを介して決定論的問題に書き換える。
ケーススタディとして,風の不確実性を考慮した超音速輸送(SST)の着陸軌道設計を最適化した。
論文 参考訳（メタデータ） (2022-05-23T15:33:05Z) - Multi-Agent Deep Reinforcement Learning in Vehicular OCC [14.685237010856953]
我々は車載OCCにおけるスペクトル効率最適化手法を提案する。
我々は最適化問題をマルコフ決定プロセス(MDP)としてモデル化し、オンラインで適用可能なソリューションの利用を可能にする。
提案手法の性能を広範囲なシミュレーションにより検証し,提案手法の様々な変種とランダムな手法との比較を行った。
論文 参考訳（メタデータ） (2022-05-05T14:25:54Z) - Neural Stochastic Dual Dynamic Programming [99.80617899593526]
我々は、問題インスタンスを断片的線形値関数にマッピングすることを学ぶトレーニング可能なニューラルモデルを導入する。
$nu$-SDDPは、ソリューションの品質を犠牲にすることなく、問題解決コストを大幅に削減できる。
論文 参考訳（メタデータ） (2021-12-01T22:55:23Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。