論文の概要: Scalable Transfer Evolutionary Optimization: Coping with Big Task Instances

• arxiv url: http://arxiv.org/abs/2012.01830v2
• Date: Thu, 12 May 2022 06:03:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-22 05:36:40.102358
• Title: Scalable Transfer Evolutionary Optimization: Coping with Big Task Instances
• Title（参考訳）: スケーラブルな転送進化最適化: 大きなタスクインスタンスを扱う
• Authors: Mojtaba Shakeri, Erfan Miahi, Abhishek Gupta and Yew-Soon Ong
• Abstract要約: そこで我々は,2種の共進化種からなる新たな移動進化最適化フレームワークを考案した。 特に、共進化は学習した知識をその場で編成し、目標最適化タスクの収束を早める。 実験結果から,提案するフレームワークは,多数のソースタスクで効率的にスケール可能であるだけでなく,関連する知識を関連ソースの疎結合から抽出する上でも有効であることが示された。
• 参考スコア（独自算出の注目度）: 21.501057599150254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In today's digital world, we are faced with an explosion of data and models produced and manipulated by numerous large-scale cloud-based applications. Under such settings, existing transfer evolutionary optimization frameworks grapple with simultaneously satisfying two important quality attributes, namely (1) scalability against a growing number of source tasks and (2) online learning agility against sparsity of relevant sources to the target task of interest. Satisfying these attributes shall facilitate practical deployment of transfer optimization to scenarios with big task-instances, while curbing the threat of negative transfer. While applications of existing algorithms are limited to tens of source tasks, in this paper, we take a quantum leap forward in enabling more than two orders of magnitude scale-up in the number of tasks; i.e., we efficiently handle scenarios beyond 1000 source task-instances. We devise a novel transfer evolutionary optimization framework comprising two co-evolving species for joint evolutions in the space of source knowledge and in the search space of solutions to the target problem. In particular, co-evolution enables the learned knowledge to be orchestrated on the fly, expediting convergence in the target optimization task. We have conducted an extensive series of experiments across a set of practically motivated discrete and continuous optimization examples comprising a large number of source task-instances, of which only a small fraction indicate source-target relatedness. The experimental results show that not only does our proposed framework scale efficiently with a growing number of source tasks but is also effective in capturing relevant knowledge against sparsity of related sources, fulfilling the two salient features of scalability and online learning agility.
• Abstract（参考訳）: 今日のデジタル世界では、大量の大規模クラウドベースのアプリケーションが生成し、操作するデータとモデルが爆発的に増えている。 このような条件下では,既存の移動進化的最適化フレームワークは,(1) 大量のソースタスクに対するスケーラビリティ,(2) 対象のタスクに対する関連するソースの分散性に対するオンライン学習アジリティという,2つの重要な品質特性を同時に満たすことができる。 これらの属性を満たすことで、負の転送の脅威を抑えつつ、大きなタスクインスタンスを持つシナリオへの転送最適化の実践的な展開が容易になる。 既存のアルゴリズムの応用は数十のソースタスクに限られているが、本論文では、タスク数において2桁以上のスケールアップを可能にするために、量子的に飛躍的に前進する:すなわち、1000のソースタスクインスタンスを超えるシナリオを効率的に処理する。 そこで我々は,2種の共進化種からなる新たな移動進化最適化フレームワークを,ソース知識空間と対象問題に対する解の探索空間に考案した。 特に共進化は、学習した知識をオンザフライで編成し、目標最適化タスクの収束を早めることができる。 我々は、多数のソースタスク・インスタンスからなる、事実上動機付けられた離散的かつ連続的な最適化事例の集合に対して、広範囲な実験を行った。 実験の結果,提案フレームワークはソースタスク数の増加とともに効率的にスケールできるだけでなく,スケーラビリティとオンライン学習の俊敏性という2つの特徴を満たし,関連情報源のスパース性に対する関連する知識の獲得にも有効であることがわかった。

関連論文リスト

• A Multitask Deep Learning Model for Classification and Regression of Hyperspectral Images: Application to the large-scale dataset [44.94304541427113]
  ハイパースペクトル画像上で複数の分類タスクと回帰タスクを同時に行うマルチタスク深層学習モデルを提案する。 我々は、TAIGAと呼ばれる大規模なハイパースペクトルデータセットに対するアプローチを検証した。 結果の総合的定性的および定量的分析により,提案手法が他の最先端手法よりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-23T11:14:54Z)
• Bayesian Inverse Transfer in Evolutionary Multiobjective Optimization [29.580786235313987]
  InvTrEMO(InvTrEMO)の第1回リバーストランスファー・マルチオブジェクト(InvTrEMO)を紹介する。 InvTrEMOは、決定空間がタスク間で正確に整合していない場合でも、多くの一般的な領域で共通の目的関数を利用する。 InvTrEMOは、高い精度の逆モデルを重要な副産物とし、オンデマンドで調整されたソリューションの生成を可能にする。
  論文  参考訳（メタデータ） (2023-12-22T14:12:18Z)
• An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale Multitask Learning Systems [4.675744559395732]
  マルチタスク学習は、複数のタスクから学習できるモデルが知識伝達によってより良い品質と効率を達成すると仮定する。 最先端のMLモデルは、タスクごとに高いカスタマイズに依存し、タスクの数をスケールするのではなく、サイズとデータスケールを活用する。 本稿では,大規模マルチタスクモデルを生成でき,新しいタスクの動的かつ連続的な追加を支援する進化的手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T13:10:47Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• Efficient Reinforcement Learning in Resource Allocation Problems Through Permutation Invariant Multi-task Learning [6.247939901619901]
  特定の環境では、利用可能なデータはマルチタスク学習の形式で劇的に向上できることを示す。 我々は,この条件下でのサンプル効率の利得に結びついた理論的性能を提供する。 これは、適切なニューラルネットワークアーキテクチャの設計と優先順位付けされたタスクサンプリング戦略を含む、マルチタスク学習への新しいアプローチを動機付ける。
  論文  参考訳（メタデータ） (2021-02-18T14:13:02Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)
• Distributed Primal-Dual Optimization for Online Multi-Task Learning [22.45069527817333]
  本稿では,対数学習におけるタスク固有のノイズを捕捉し,実行時効率でプロジェクションフリーな更新を行う適応的原始双対アルゴリズムを提案する。 我々のモデルは、エネルギー不足や帯域制限のあるタスクが更新を延期できるようにするため、分散型の周期接続タスクに適しています。 実験結果から,提案モデルが実世界の様々なデータセットに対して極めて有効であることが確認された。
  論文  参考訳（メタデータ） (2020-04-02T23:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。