論文の概要: A Hyper-Transformer model for Controllable Pareto Front Learning with
Split Feasibility Constraints
- arxiv url: http://arxiv.org/abs/2402.05955v1
- Date: Sun, 4 Feb 2024 10:21:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-18 14:20:10.274639
- Title: A Hyper-Transformer model for Controllable Pareto Front Learning with
Split Feasibility Constraints
- Title(参考訳): 分割可能性制約付き制御可能なパレートフロント学習のためのハイパートランスフォーマモデル
- Authors: Tran Anh Tuan, Nguyen Viet Dung, Tran Ngoc Thang
- Abstract要約: SFCを用いたCPFL用超変圧器(Hyper-Trans)モデルを開発した。
計算実験において,Hyper-TransモデルによりMED誤差がHyper-MLPモデルよりも小さくなることを示す。
- 参考スコア(独自算出の注目度): 2.07180164747172
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Controllable Pareto front learning (CPFL) approximates the Pareto solution
set and then locates a Pareto optimal solution with respect to a given
reference vector. However, decision-maker objectives were limited to a
constraint region in practice, so instead of training on the entire decision
space, we only trained on the constraint region. Controllable Pareto front
learning with Split Feasibility Constraints (SFC) is a way to find the best
Pareto solutions to a split multi-objective optimization problem that meets
certain constraints. In the previous study, CPFL used a Hypernetwork model
comprising multi-layer perceptron (Hyper-MLP) blocks. With the substantial
advancement of transformer architecture in deep learning, transformers can
outperform other architectures in various tasks. Therefore, we have developed a
hyper-transformer (Hyper-Trans) model for CPFL with SFC. We use the theory of
universal approximation for the sequence-to-sequence function to show that the
Hyper-Trans model makes MED errors smaller in computational experiments than
the Hyper-MLP model.
- Abstract(参考訳): 制御可能なパレート前処理(CPFL)はパレートの解集合を近似し、与えられた基準ベクトルに対してパレート最適解を見つける。
しかし、意思決定の目的は実際には制約領域に限られていたため、決定領域全体をトレーニングする代わりに、制約領域のみをトレーニングした。
Split Feasibility Constraints (SFC) を用いた制御可能なParetoフロントエンド学習は、特定の制約を満たす分割多目的最適化問題に対する最高のParetoソリューションを見つける方法である。
前回の研究では、cpflは多層パーセプトロン(hyper-mlp)ブロックからなるハイパーネットワークモデルを用いた。
ディープラーニングにおけるトランスフォーマーアーキテクチャの大幅な進歩により、トランスフォーマーは他のアーキテクチャを様々なタスクで上回ることができる。
そこで我々は,SFCを用いたCPFLのためのハイパートランスモデルを開発した。
超遷移モデルが超mlpモデルよりも計算実験においてmed誤差を小さくすることを示すために、シーケンシャル・ツー・シーケンス関数に対する普遍近似の理論を用いる。
関連論文リスト
- Parameter Efficient Fine-tuning via Cross Block Orchestration for
Segment Anything Model [86.41316628084464]
PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。
本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。
提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
論文 参考訳(メタデータ) (2023-11-28T11:23:34Z) - Improving Pareto Front Learning via Multi-Sample Hypernetworks [4.129225533930966]
提案するPFLフレームワークであるPHN-HVIは,多種多様なトレードオフ選好から複数のソリューションを生成するハイパーネットワークである。
複数のMOO機械学習タスクの実験結果から,提案手法がベースラインを著しく上回ることが示された。
論文 参考訳(メタデータ) (2022-12-02T12:19:12Z) - Pareto Manifold Learning: Tackling multiple tasks via ensembles of
single-task models [50.33956216274694]
マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。
重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
論文 参考訳(メタデータ) (2022-10-18T11:20:54Z) - Efficiently Controlling Multiple Risks with Pareto Testing [34.83506056862348]
本稿では,多目的最適化と複数仮説テストを組み合わせた2段階プロセスを提案する。
自然言語処理(NLP)アプリケーションにおいて,大規模トランスフォーマーモデルの実行を確実に高速化する手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-10-14T15:54:39Z) - Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。
SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。
SFSCは評価データセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-06-16T16:46:32Z) - Optimization-Derived Learning with Essential Convergence Analysis of
Training and Hyper-training [52.39882976848064]
固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。
GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
論文 参考訳(メタデータ) (2022-06-16T01:50:25Z) - Pareto Navigation Gradient Descent: a First-Order Algorithm for
Optimization in Pareto Set [17.617944390196286]
マルチタスク学習のような現代の機械学習アプリケーションは、複数の目的関数をトレードオフするために最適なモデルパラメータを見つける必要がある。
勾配情報のみを用いてOPT-in-Paretoを近似的に解く1次アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-10-17T04:07:04Z) - Self-Evolutionary Optimization for Pareto Front Learning [34.17125297176668]
マルチタスク問題に対する多目的最適化(MOO)手法が提案されている。
最近のMOO法は、単一の統一モデルで複数の最適解(パレートフロント)を近似する。
PFLは複数の目的を持つ別のMOO問題に再変換可能であることを示し、それぞれがタスクの好みの重みに対応していることを示す。
論文 参考訳(メタデータ) (2021-10-07T13:38:57Z) - Beyond Fully-Connected Layers with Quaternions: Parameterization of
Hypercomplex Multiplications with $1/n$ Parameters [71.09633069060342]
モデルが事前に定義されているかどうかにかかわらず、データから乗算ルールを学習できるように、ハイパーコンプレックス乗算のパラメータ化を提案する。
我々の手法はハミルトン積を仮定するだけでなく、任意の nD 超複素空間上での操作も学んでいる。
論文 参考訳(メタデータ) (2021-02-17T06:16:58Z) - Learning the Pareto Front with Hypernetworks [44.72371822514582]
機械学習では、多目的最適化(MOO)の問題が一般的である。
これらの問題には最適なソリューションのセットがあり、フロントの各ポイントは、衝突する可能性のある目標間の異なるトレードオフを表す。
近年のMOO法は、損失空間において特定の望まれる光線を標的にすることができるが、ほとんどのアプローチは依然として2つの重大な制限に直面している。
論文 参考訳(メタデータ) (2020-10-08T16:39:20Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳(メタデータ) (2020-10-08T15:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。