論文の概要: Bi-level Multi-objective Evolutionary Learning: A Case Study on
Multi-task Graph Neural Topology Search
- arxiv url: http://arxiv.org/abs/2302.02565v1
- Date: Mon, 6 Feb 2023 04:59:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 17:30:58.845484
- Title: Bi-level Multi-objective Evolutionary Learning: A Case Study on
Multi-task Graph Neural Topology Search
- Title(参考訳): 双方向多目的進化学習:マルチタスクグラフニューラルトポロジー探索の事例研究
- Authors: Chao Wang, Licheng Jiao, Jiaxuan Zhao, Lingling Li, Xu Liu, Fang Liu,
Shuyuan Yang
- Abstract要約: 本稿では,二段階多目的学習フレームワークBLMOLを提案する。
決定過程とUL-MOPの最適化過程を結合する。
UL-MOPの高価な評価プロセスを置き換えるために、選好サロゲートモデルを構築した。
- 参考スコア(独自算出の注目度): 47.59828447981408
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The construction of machine learning models involves many bi-level
multi-objective optimization problems (BL-MOPs), where upper level (UL)
candidate solutions must be evaluated via training weights of a model in the
lower level (LL). Due to the Pareto optimality of sub-problems and the complex
dependency across UL solutions and LL weights, an UL solution is feasible if
and only if the LL weight is Pareto optimal. It is computationally expensive to
determine which LL Pareto weight in the LL Pareto weight set is the most
appropriate for each UL solution. This paper proposes a bi-level
multi-objective learning framework (BLMOL), coupling the above decision-making
process with the optimization process of the UL-MOP by introducing LL
preference $r$. Specifically, the UL variable and $r$ are simultaneously
searched to minimize multiple UL objectives by evolutionary multi-objective
algorithms. The LL weight with respect to $r$ is trained to minimize multiple
LL objectives via gradient-based preference multi-objective algorithms. In
addition, the preference surrogate model is constructed to replace the
expensive evaluation process of the UL-MOP. We consider a novel case study on
multi-task graph neural topology search. It aims to find a set of Pareto
topologies and their Pareto weights, representing different trade-offs across
tasks at UL and LL, respectively. The found graph neural network is employed to
solve multiple tasks simultaneously, including graph classification, node
classification, and link prediction. Experimental results demonstrate that
BLMOL can outperform some state-of-the-art algorithms and generate
well-representative UL solutions and LL weights.
- Abstract(参考訳): 機械学習モデルの構築には、2レベル多目的最適化問題(BL-MOP)が多数含まれており、上位レベル(UL)候補解は、下位レベル(LL)のモデルのトレーニング重みによって評価する必要がある。
部分プロブレムのパレート最適性と UL 解と LL 重み間の複素依存のため、UL 解は LL 重みがパレート最適である場合に限り実現可能である。
LL Pareto 重み集合の LL Pareto 重み集合のどの LL Pareto 重み集合がそれぞれの UL 解に最も適しているかを決定するのに計算コストがかかる。
本稿では、上記の意思決定プロセスとUL-MOPの最適化プロセスとを結合した二段階多目的学習フレームワーク(BLMOL)を提案する。
具体的には、UL変数と$r$を同時に探索し、進化的多目的アルゴリズムによって複数のUL目標を最小化する。
$r$に対するLL重みは、勾配に基づく選好マルチオブジェクトアルゴリズムによって、複数のLL目標を最小化するために訓練される。
さらに、UL-MOPの高価な評価プロセスを置き換えるために、選好代理モデルを構築した。
マルチタスクグラフニューラルトポロジー探索における新しいケーススタディについて考察する。
ParetoトポロジとそれらのPareto重みのセットを見つけることを目的としており、それぞれULとLLのタスク間で異なるトレードオフを表現している。
グラフ分類、ノード分類、リンク予測を含む複数のタスクを同時に解くために、検索されたグラフニューラルネットワークが使用される。
実験により、BLMOLは最先端のアルゴリズムより優れ、よく表現可能なUL解とLL重みを生成できることが示された。
関連論文リスト
- BOtied: Multi-objective Bayesian optimization with tied multivariate
ranks [49.85896045032822]
非支配解と最高多変量階との自然な関係を示し、これは合同累積分布関数(CDF)の最外層線と一致する。
我々はCDFインジケータに基づくBOtiedと呼ばれる取得関数を提案する。
論文 参考訳(メタデータ) (2023-06-01T04:50:06Z) - End-to-End Pareto Set Prediction with Graph Neural Networks for
Multi-objective Facility Location [10.130342722193204]
施設配置問題(FLP)は、サプライチェーンやロジスティクスで広く見られるNPハード最適化問題の典型的なクラスである。
本稿では,システム全体のコストを同時に最小化し,システム信頼性を最大化する多目的施設配置問題(MO-FLP)について考察する。
ノードとエッジの暗黙グラフ表現を学習するために、2つのグラフニューラルネットワークを構築した。
論文 参考訳(メタデータ) (2022-10-27T07:15:55Z) - Multi-Objective GFlowNets [59.16787189214784]
本稿では,多目的最適化の文脈において,多様な候補を生成する問題について検討する。
薬物発見やマテリアルデザインといった機械学習の多くの応用において、目標は、競合する可能性のある目標のセットを同時に最適化する候補を生成することである。
GFlowNetsをベースとした多目的GFlowNets(MOGFNs)を提案する。
論文 参考訳(メタデータ) (2022-10-23T16:15:36Z) - Supervised Contrastive Learning as Multi-Objective Optimization for
Fine-Tuning Large Pre-trained Language Models [3.759936323189417]
教師付きコントラスト学習(SCL)は,ほとんどの分類タスクにおいて優れた性能を発揮することが示されている。
本研究では,RoBERTa言語モデルの微調整フェーズにおける多目的最適化問題としてSCL問題を定式化する。
論文 参考訳(メタデータ) (2022-09-28T15:13:58Z) - Pareto Set Learning for Neural Multi-objective Combinatorial
Optimization [6.091096843566857]
多目的最適化(MOCO)の問題は、現実世界の多くのアプリケーションで見られる。
我々は,与えられたMOCO問題に対するパレート集合全体を,探索手順を伴わずに近似する学習ベースアプローチを開発した。
提案手法は,多目的走行セールスマン問題,マルチコンディショニング車両ルーティング問題,複数クナップサック問題において,ソリューションの品質,速度,モデル効率の面で,他の方法よりも優れていた。
論文 参考訳(メタデータ) (2022-03-29T09:26:22Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Multi-Objective Meta Learning [2.9932638148627104]
統合グラデーションベースのマルチ目的メタラーニング(MOML)フレームワークを提案する。
提案されたMOMLフレームワークの有効性をいくつかのメタラーニング問題で示す。
論文 参考訳(メタデータ) (2021-02-14T10:23:09Z) - Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。
既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。
モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
論文 参考訳(メタデータ) (2020-11-19T22:35:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。