論文の概要: Bi-level Multi-objective Evolutionary Learning: A Case Study on Multi-task Graph Neural Topology Search

• arxiv url: http://arxiv.org/abs/2302.02565v1
• Date: Mon, 6 Feb 2023 04:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 17:30:58.845484
• Title: Bi-level Multi-objective Evolutionary Learning: A Case Study on Multi-task Graph Neural Topology Search
• Title（参考訳）: 双方向多目的進化学習:マルチタスクグラフニューラルトポロジー探索の事例研究
• Authors: Chao Wang, Licheng Jiao, Jiaxuan Zhao, Lingling Li, Xu Liu, Fang Liu, Shuyuan Yang
• Abstract要約: 本稿では,二段階多目的学習フレームワークBLMOLを提案する。 決定過程とUL-MOPの最適化過程を結合する。 UL-MOPの高価な評価プロセスを置き換えるために、選好サロゲートモデルを構築した。
• 参考スコア（独自算出の注目度）: 47.59828447981408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The construction of machine learning models involves many bi-level multi-objective optimization problems (BL-MOPs), where upper level (UL) candidate solutions must be evaluated via training weights of a model in the lower level (LL). Due to the Pareto optimality of sub-problems and the complex dependency across UL solutions and LL weights, an UL solution is feasible if and only if the LL weight is Pareto optimal. It is computationally expensive to determine which LL Pareto weight in the LL Pareto weight set is the most appropriate for each UL solution. This paper proposes a bi-level multi-objective learning framework (BLMOL), coupling the above decision-making process with the optimization process of the UL-MOP by introducing LL preference $r$. Specifically, the UL variable and $r$ are simultaneously searched to minimize multiple UL objectives by evolutionary multi-objective algorithms. The LL weight with respect to $r$ is trained to minimize multiple LL objectives via gradient-based preference multi-objective algorithms. In addition, the preference surrogate model is constructed to replace the expensive evaluation process of the UL-MOP. We consider a novel case study on multi-task graph neural topology search. It aims to find a set of Pareto topologies and their Pareto weights, representing different trade-offs across tasks at UL and LL, respectively. The found graph neural network is employed to solve multiple tasks simultaneously, including graph classification, node classification, and link prediction. Experimental results demonstrate that BLMOL can outperform some state-of-the-art algorithms and generate well-representative UL solutions and LL weights.
• Abstract（参考訳）: 機械学習モデルの構築には、2レベル多目的最適化問題(BL-MOP)が多数含まれており、上位レベル(UL)候補解は、下位レベル(LL)のモデルのトレーニング重みによって評価する必要がある。 部分プロブレムのパレート最適性と UL 解と LL 重み間の複素依存のため、UL 解は LL 重みがパレート最適である場合に限り実現可能である。 LL Pareto 重み集合の LL Pareto 重み集合のどの LL Pareto 重み集合がそれぞれの UL 解に最も適しているかを決定するのに計算コストがかかる。 本稿では、上記の意思決定プロセスとUL-MOPの最適化プロセスとを結合した二段階多目的学習フレームワーク(BLMOL)を提案する。 具体的には、UL変数と$r$を同時に探索し、進化的多目的アルゴリズムによって複数のUL目標を最小化する。 $r$に対するLL重みは、勾配に基づく選好マルチオブジェクトアルゴリズムによって、複数のLL目標を最小化するために訓練される。 さらに、UL-MOPの高価な評価プロセスを置き換えるために、選好代理モデルを構築した。 マルチタスクグラフニューラルトポロジー探索における新しいケーススタディについて考察する。 ParetoトポロジとそれらのPareto重みのセットを見つけることを目的としており、それぞれULとLLのタスク間で異なるトレードオフを表現している。 グラフ分類、ノード分類、リンク予測を含む複数のタスクを同時に解くために、検索されたグラフニューラルネットワークが使用される。 実験により、BLMOLは最先端のアルゴリズムより優れ、よく表現可能なUL解とLL重みを生成できることが示された。

関連論文リスト

• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [75.11267478778295]
  マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。 重みベクトル w でパラメータ化される線型効用関数の場合に焦点を当てる。 学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T09:34:42Z)
• End-to-End Pareto Set Prediction with Graph Neural Networks for Multi-objective Facility Location [10.130342722193204]
  施設配置問題(FLP)は、サプライチェーンやロジスティクスで広く見られるNPハード最適化問題の典型的なクラスである。 本稿では,システム全体のコストを同時に最小化し,システム信頼性を最大化する多目的施設配置問題(MO-FLP)について考察する。 ノードとエッジの暗黙グラフ表現を学習するために、2つのグラフニューラルネットワークを構築した。
  論文  参考訳（メタデータ） (2022-10-27T07:15:55Z)
• Multi-Objective GFlowNets [59.16787189214784]
  本稿では,多目的最適化の文脈において,多様な候補を生成する問題について検討する。 薬物発見やマテリアルデザインといった機械学習の多くの応用において、目標は、競合する可能性のある目標のセットを同時に最適化する候補を生成することである。 GFlowNetsをベースとした多目的GFlowNets(MOGFNs)を提案する。
  論文  参考訳（メタデータ） (2022-10-23T16:15:36Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Multi-Objective Meta Learning [2.9932638148627104]
  統合グラデーションベースのマルチ目的メタラーニング(MOML)フレームワークを提案する。 提案されたMOMLフレームワークの有効性をいくつかのメタラーニング問題で示す。
  論文  参考訳（メタデータ） (2021-02-14T10:23:09Z)
• Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
  目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。 既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。 モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2020-11-19T22:35:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。