論文の概要: Efficient Training of Multi-task Combinarotial Neural Solver with Multi-armed Bandits

• arxiv url: http://arxiv.org/abs/2305.06361v2
• Date: Mon, 9 Oct 2023 06:35:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 12:53:41.398430
• Title: Efficient Training of Multi-task Combinarotial Neural Solver with Multi-armed Bandits
• Title（参考訳）: マルチアーム付きバンディットを用いたマルチタスクコンビナラシャルニューラルネットワークの効率的な学習
• Authors: Chenguang Wang, Tianshu Yu
• Abstract要約: 本稿では,マルチタスク・ニューラル・ソルバを実現するために,マルチアーム・バンディットに基づく汎用的で効率的なトレーニングパラダイムを提案する。 本手法は,通常のトレーニングスケジュールに比べて,限られたトレーニング予算と同一のトレーニングエポックのいずれにおいても,全体的なパフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 15.783357398173516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficiently training a multi-task neural solver for various combinatorial optimization problems (COPs) has been less studied so far. In this paper, we propose a general and efficient training paradigm based on multi-armed bandits to deliver a unified combinarotial multi-task neural solver. To this end, we resort to the theoretical loss decomposition for multiple tasks under an encoder-decoder framework, which enables more efficient training via proper bandit task-sampling algorithms through an intra-task influence matrix. Our method achieves much higher overall performance with either limited training budgets or the same training epochs, compared to standard training schedules, which can be promising for advising efficient training of other multi-task large models. Additionally, the influence matrix can provide empirical evidence of some common practices in the area of learning to optimize, which in turn supports the validity of our approach.
• Abstract（参考訳）: 様々な組合せ最適化問題(COP)に対するマルチタスクニューラルソルバの効率的なトレーニングは、これまであまり研究されていない。 本稿では,マルチアームバンディットに基づく汎用的かつ効率的なトレーニングパラダイムを提案し,統合型組合せ型マルチタスクニューラルソルバを提案する。 このために、エンコーダ・デコーダ・フレームワークの下での複数のタスクの理論的損失分解に頼り、タスク内インフルエンサ・マトリックスを介して、適切なバンディット・タスクサンプリングアルゴリズムによるより効率的なトレーニングを可能にする。 本手法は,他のマルチタスク大規模モデルの効率的なトレーニングを推奨できる標準トレーニングスケジュールと比較して,限られたトレーニング予算と同一のトレーニングエポックのいずれにおいても,総合的なパフォーマンスを実現する。 さらに、影響行列は、学習の最適化分野におけるいくつかの一般的な実践の実証的な証拠を提供することができ、それによって、我々のアプローチの有効性が裏付けられる。

関連論文リスト

• Efficient Pareto Manifold Learning with Low-Rank Structure [31.082432589391953]
  マルチタスク学習は本質的に多目的最適化問題である。 そこで本研究では,複数の低ランク行列を主ネットワークに統合する手法を提案する。 パラメータの数を著しく削減し、共有された特徴の抽出を容易にする。
  論文  参考訳（メタデータ） (2024-07-30T11:09:27Z)
• Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks [53.44714413181162]
  本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。 我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
  論文  参考訳（メタデータ） (2024-03-03T22:57:44Z)
• Efficient Meta Neural Heuristic for Multi-Objective Combinatorial Optimization [35.09656455088854]
  本稿では,多目的最適化問題を解くために,効率的なメタニューラルベクトル(EMNH)を提案する。 EMNHは、ソリューションの品質と学習効率の点で最先端のニューラルネットワークより優れている。
  論文  参考訳（メタデータ） (2023-10-22T08:59:02Z)
• Scalarization for Multi-Task and Multi-Domain Learning at Scale [15.545810422759295]
  複数の入力ドメインと/または出力タスクで単一のモデルをトレーニングすることで、複数のソースからの情報を統一されたバックボーンに圧縮することができる。 しかし、これらのネットワークの最適化は、異なるタスクやドメイン間の相違による課題である。
  論文  参考訳（メタデータ） (2023-10-13T07:31:04Z)
• DL-DRL: A double-level deep reinforcement learning approach for large-scale task scheduling of multi-UAV [65.07776277630228]
  分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。 特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。 また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
  論文  参考訳（メタデータ） (2022-08-04T04:35:53Z)
• In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
  本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。 標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
  論文  参考訳（メタデータ） (2022-01-11T18:44:17Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Efficient Reinforcement Learning in Resource Allocation Problems Through Permutation Invariant Multi-task Learning [6.247939901619901]
  特定の環境では、利用可能なデータはマルチタスク学習の形式で劇的に向上できることを示す。 我々は,この条件下でのサンプル効率の利得に結びついた理論的性能を提供する。 これは、適切なニューラルネットワークアーキテクチャの設計と優先順位付けされたタスクサンプリング戦略を含む、マルチタスク学習への新しいアプローチを動機付ける。
  論文  参考訳（メタデータ） (2021-02-18T14:13:02Z)
• Small Towers Make Big Differences [59.243296878666285]
  マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
  論文  参考訳（メタデータ） (2020-08-13T10:45:31Z)
• Efficient Continuous Pareto Exploration in Multi-Task Learning [34.41682709915956]
  本稿では,機械学習問題における最適解の連続解析手法を提案する。 サンプルベーススパース線形システムを提案することにより、現代の機械学習問題に対する多目的最適化の理論結果をスケールアップする。
  論文  参考訳（メタデータ） (2020-06-29T23:36:20Z)
• Gradient Surgery for Multi-Task Learning [119.675492088251]
  マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。 マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。 本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
  論文  参考訳（メタデータ） (2020-01-19T06:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。