論文の概要: A Hyper-Transformer model for Controllable Pareto Front Learning with
Split Feasibility Constraints
- arxiv url: http://arxiv.org/abs/2402.05955v1
- Date: Sun, 4 Feb 2024 10:21:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-18 14:20:10.274639
- Title: A Hyper-Transformer model for Controllable Pareto Front Learning with
Split Feasibility Constraints
- Title（参考訳）: 分割可能性制約付き制御可能なパレートフロント学習のためのハイパートランスフォーマモデル
- Authors: Tran Anh Tuan, Nguyen Viet Dung, Tran Ngoc Thang
- Abstract要約: SFCを用いたCPFL用超変圧器(Hyper-Trans)モデルを開発した。
計算実験において,Hyper-TransモデルによりMED誤差がHyper-MLPモデルよりも小さくなることを示す。
- 参考スコア（独自算出の注目度）: 2.07180164747172
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Controllable Pareto front learning (CPFL) approximates the Pareto solution
set and then locates a Pareto optimal solution with respect to a given
reference vector. However, decision-maker objectives were limited to a
constraint region in practice, so instead of training on the entire decision
space, we only trained on the constraint region. Controllable Pareto front
learning with Split Feasibility Constraints (SFC) is a way to find the best
Pareto solutions to a split multi-objective optimization problem that meets
certain constraints. In the previous study, CPFL used a Hypernetwork model
comprising multi-layer perceptron (Hyper-MLP) blocks. With the substantial
advancement of transformer architecture in deep learning, transformers can
outperform other architectures in various tasks. Therefore, we have developed a
hyper-transformer (Hyper-Trans) model for CPFL with SFC. We use the theory of
universal approximation for the sequence-to-sequence function to show that the
Hyper-Trans model makes MED errors smaller in computational experiments than
the Hyper-MLP model.
- Abstract（参考訳）: 制御可能なパレート前処理(CPFL)はパレートの解集合を近似し、与えられた基準ベクトルに対してパレート最適解を見つける。
しかし、意思決定の目的は実際には制約領域に限られていたため、決定領域全体をトレーニングする代わりに、制約領域のみをトレーニングした。
Split Feasibility Constraints (SFC) を用いた制御可能なParetoフロントエンド学習は、特定の制約を満たす分割多目的最適化問題に対する最高のParetoソリューションを見つける方法である。
前回の研究では、cpflは多層パーセプトロン(hyper-mlp)ブロックからなるハイパーネットワークモデルを用いた。
ディープラーニングにおけるトランスフォーマーアーキテクチャの大幅な進歩により、トランスフォーマーは他のアーキテクチャを様々なタスクで上回ることができる。
そこで我々は,SFCを用いたCPFLのためのハイパートランスモデルを開発した。
超遷移モデルが超mlpモデルよりも計算実験においてmed誤差を小さくすることを示すために、シーケンシャル・ツー・シーケンス関数に対する普遍近似の理論を用いる。
関連論文リスト
- Pareto Front Shape-Agnostic Pareto Set Learning in Multi-Objective Optimization [6.810571151954673]
既存の方法は、目的空間における選好ベクトルを決定空間における最適解にマッピングすることに依存する。
提案手法は, 事前知識を必要とせずに, パレート前面の任意の形状を処理し, パレート集合を学習することができる。
論文 参考訳（メタデータ） (2024-08-11T14:09:40Z) - Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
PaLoRAは、タスク固有の低ランクアダプタでオリジナルのモデルを拡張する、新しいパラメータ効率の手法である。
実験の結果,PaLoRAは様々なデータセットでMTLとPFLのベースラインを上回っていることがわかった。
論文 参考訳（メタデータ） (2024-07-10T21:25:51Z) - Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。
本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。
特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
論文 参考訳（メタデータ） (2024-06-14T07:16:18Z) - Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。
本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。
提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
論文 参考訳（メタデータ） (2023-11-28T11:23:34Z) - Pareto Manifold Learning: Tackling multiple tasks via ensembles of
single-task models [50.33956216274694]
マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。
重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
論文 参考訳（メタデータ） (2022-10-18T11:20:54Z) - Self-Evolutionary Optimization for Pareto Front Learning [34.17125297176668]
マルチタスク問題に対する多目的最適化(MOO)手法が提案されている。
最近のMOO法は、単一の統一モデルで複数の最適解(パレートフロント)を近似する。
PFLは複数の目的を持つ別のMOO問題に再変換可能であることを示し、それぞれがタスクの好みの重みに対応していることを示す。
論文 参考訳（メタデータ） (2021-10-07T13:38:57Z) - Beyond Fully-Connected Layers with Quaternions: Parameterization of
Hypercomplex Multiplications with $1/n$ Parameters [71.09633069060342]
モデルが事前に定義されているかどうかにかかわらず、データから乗算ルールを学習できるように、ハイパーコンプレックス乗算のパラメータ化を提案する。
我々の手法はハミルトン積を仮定するだけでなく、任意の nD 超複素空間上での操作も学んでいる。
論文 参考訳（メタデータ） (2021-02-17T06:16:58Z) - Learning the Pareto Front with Hypernetworks [44.72371822514582]
機械学習では、多目的最適化(MOO)の問題が一般的である。
これらの問題には最適なソリューションのセットがあり、フロントの各ポイントは、衝突する可能性のある目標間の異なるトレードオフを表す。
近年のMOO法は、損失空間において特定の望まれる光線を標的にすることができるが、ほとんどのアプローチは依然として2つの重大な制限に直面している。
論文 参考訳（メタデータ） (2020-10-08T16:39:20Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。