論文の概要: Multi-Task Learning on Networks
- arxiv url: http://arxiv.org/abs/2112.04891v1
- Date: Tue, 7 Dec 2021 09:13:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-10 14:22:23.362950
- Title: Multi-Task Learning on Networks
- Title(参考訳): ネットワーク上でのマルチタスク学習
- Authors: Andrea Ponti
- Abstract要約: マルチタスク学習コンテキストで発生する多目的最適化問題は、特定の特徴を持ち、アドホックな方法を必要とする。
この論文では、入力空間の解は、関数評価に含まれる知識をカプセル化した確率分布として表現される。
確率分布のこの空間では、ワッサーシュタイン距離によって与えられる計量が与えられ、モデルが目的関数に直接依存しないような新しいアルゴリズムMOEA/WSTを設計することができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The multi-task learning (MTL) paradigm can be traced back to an early paper
of Caruana (1997) in which it was argued that data from multiple tasks can be
used with the aim to obtain a better performance over learning each task
independently. A solution of MTL with conflicting objectives requires modelling
the trade-off among them which is generally beyond what a straight linear
combination can achieve. A theoretically principled and computationally
effective strategy is finding solutions which are not dominated by others as it
is addressed in the Pareto analysis. Multi-objective optimization problems
arising in the multi-task learning context have specific features and require
adhoc methods. The analysis of these features and the proposal of a new
computational approach represent the focus of this work. Multi-objective
evolutionary algorithms (MOEAs) can easily include the concept of dominance and
therefore the Pareto analysis. The major drawback of MOEAs is a low sample
efficiency with respect to function evaluations. The key reason for this
drawback is that most of the evolutionary approaches do not use models for
approximating the objective function. Bayesian Optimization takes a radically
different approach based on a surrogate model, such as a Gaussian Process. In
this thesis the solutions in the Input Space are represented as probability
distributions encapsulating the knowledge contained in the function
evaluations. In this space of probability distributions, endowed with the
metric given by the Wasserstein distance, a new algorithm MOEA/WST can be
designed in which the model is not directly on the objective function but in an
intermediate Information Space where the objects from the input space are
mapped into histograms. Computational results show that the sample efficiency
and the quality of the Pareto set provided by MOEA/WST are significantly better
than in the standard MOEA.
- Abstract(参考訳): マルチタスク学習(MTL)パラダイムはCaruana (1997)の初期の論文に遡ることができる。
矛盾する目的を持ったMTLのソリューションでは、それらの間のトレードオフをモデル化する必要があります。
理論的に原理的かつ計算学的に効果的な戦略は、パレート分析で取り扱われているように、他の人に支配されない解を見つけることである。
マルチタスク学習コンテキストで発生する多目的最適化問題は、特定の特徴を持ち、アドホックな方法を必要とする。
これらの特徴の分析と新しい計算手法の提案は、この研究の焦点を表している。
多目的進化アルゴリズム(MOEA)は、支配の概念やパレート分析を簡単に含めることができる。
MOEAの最大の欠点は、機能評価に関して低いサンプル効率である。
この欠点の主な理由は、進化的アプローチのほとんどが対象関数の近似にモデルを使用しないからである。
ベイズ最適化はガウス過程のような代理モデルに基づいて根本的に異なるアプローチを取る。
この論文では、入力空間の解は、関数評価に含まれる知識をカプセル化した確率分布として表現される。
確率分布のこの空間では、ワッサーシュタイン距離によって与えられる距離が与えられ、入力空間からのオブジェクトをヒストグラムにマッピングする中間情報空間において、モデルが目的関数に直接依存しないような新しいアルゴリズムMOEA/WSTを設計することができる。
計算結果から,MOEA/WSTで提供されるPareto集合の試料効率と品質は,標準MOEAよりも有意に優れていることがわかった。
関連論文リスト
- Kolmogorov n-Widths for Multitask Physics-Informed Machine Learning
(PIML) Methods: Towards Robust Metrics [10.005376908536178]
このトピックは、マルチタスク学習(multitask learning)と呼ばれる、シングルまたはPDE問題の集合を解決するための、幅広いメソッドとモデルを含んでいる。
PIMLは、PDE問題を解決する際に、大規模なデータの代わりに機械学習モデルのトレーニングプロセスに物理法則を組み込むことによって特徴付けられる。
論文 参考訳(メタデータ) (2024-02-16T23:21:40Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳(メタデータ) (2023-04-12T14:51:47Z) - Addressing the issue of stochastic environments and local
decision-making in multi-objective reinforcement learning [0.0]
多目的強化学習(MORL)は、従来の強化学習(RL)に基づく比較的新しい分野である。
この論文は、価値に基づくMORL Q-learningアルゴリズムが環境の最適ポリシーを学習する頻度に影響を与える要因に焦点を当てている。
論文 参考訳(メタデータ) (2022-11-16T04:56:42Z) - End-to-End Pareto Set Prediction with Graph Neural Networks for
Multi-objective Facility Location [10.130342722193204]
施設配置問題(FLP)は、サプライチェーンやロジスティクスで広く見られるNPハード最適化問題の典型的なクラスである。
本稿では,システム全体のコストを同時に最小化し,システム信頼性を最大化する多目的施設配置問題(MO-FLP)について考察する。
ノードとエッジの暗黙グラフ表現を学習するために、2つのグラフニューラルネットワークを構築した。
論文 参考訳(メタデータ) (2022-10-27T07:15:55Z) - Pretrained Cost Model for Distributed Constraint Optimization Problems [37.79733538931925]
分散制約最適化問題(DCOP)は、最適化問題の重要なサブクラスである。
本稿では,DCOPのための新しい非巡回グラフスキーマ表現を提案し,グラフ表現を組み込むためにグラフ注意ネットワーク(GAT)を利用する。
我々のモデルであるGAT-PCMは、幅広いDCOPアルゴリズムを向上するために、オフラインで最適なラベル付きデータで事前訓練される。
論文 参考訳(メタデータ) (2021-12-08T09:24:10Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳(メタデータ) (2021-07-14T17:55:28Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。
我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。
このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文 参考訳(メタデータ) (2021-06-29T12:52:26Z) - Offline Model-Based Optimization via Normalized Maximum Likelihood
Estimation [101.22379613810881]
データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。
この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。
我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
論文 参考訳(メタデータ) (2021-02-16T06:04:27Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳(メタデータ) (2020-10-06T16:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。