論文の概要: Efficient Training of Multi-task Neural Solver for Combinatorial Optimization
- arxiv url: http://arxiv.org/abs/2305.06361v3
- Date: Mon, 24 Mar 2025 11:32:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 17:43:39.866540
- Title: Efficient Training of Multi-task Neural Solver for Combinatorial Optimization
- Title（参考訳）: 組合せ最適化のためのマルチタスクニューラルソルバーの効率的な訓練
- Authors: Chenguang Wang, Zhang-Hua Fu, Pinyan Lu, Tianshu Yu,
- Abstract要約: 本稿では,統合型マルチタスクニューラルソルバを実現するための,汎用的で効率的なトレーニングパラダイムを提案する。
本手法は, 制約付きトレーニング予算の範囲内であっても, 全体的な性能を著しく向上させる。
また,本手法は単一タスク学習やマルチタスク学習と比較して最高の結果を得た。
- 参考スコア（独自算出の注目度）: 23.694457372640912
- License:
- Abstract: Efficiently training a multi-task neural solver for various combinatorial optimization problems (COPs) has been less studied so far. Naive application of conventional multi-task learning approaches often falls short in delivering a high-quality, unified neural solver. This deficiency primarily stems from the significant computational demands and a lack of adequate consideration for the complexities inherent in COPs. In this paper, we propose a general and efficient training paradigm to deliver a unified combinatorial multi-task neural solver. To this end, we resort to the theoretical loss decomposition for multiple tasks under an encoder-decoder framework, which enables more efficient training via proper bandit task-sampling algorithms through an intra-task influence matrix. By employing theoretically grounded approximations, our method significantly enhances overall performance, regardless of whether it is within constrained training budgets, across equivalent training epochs, or in terms of generalization capabilities, when compared to conventional training schedules. On the real-world datasets of TSPLib and CVRPLib, our method also achieved the best results compared to single task learning and multi-task learning approaches. Additionally, the influence matrix provides empirical evidence supporting common practices in the field of learning to optimize, further substantiating the effectiveness of our approach. Our code is open-sourced and available at https://github.com/LOGO-CUHKSZ/MTL-COP.
- Abstract（参考訳）: 様々な組合せ最適化問題(COP)に対するマルチタスクニューラルソルバの効率的なトレーニングは、これまであまり研究されていない。
従来のマルチタスク学習アプローチのナイーブな応用は、高品質で統一されたニューラルソルバの提供に不足することが多い。
この欠損は主に、計算上の重要な要求と、COPに固有の複雑さに対する十分な考慮の欠如に起因する。
本稿では,統合組合せ型マルチタスクニューラルソルバを実現するための,汎用的で効率的なトレーニングパラダイムを提案する。
この目的のために、エンコーダ・デコーダ・フレームワークの下での複数のタスクに対する理論的損失分解を利用する。
提案手法は, 従来の訓練スケジュールと比較して, 制約付きトレーニング予算の範囲内であっても, 同等の訓練エポックにおいても, あるいは一般化能力においても, 全体的な性能を著しく向上させる。
また,TSPLibとCVRPLibの実際のデータセットから,単一タスク学習やマルチタスク学習と比較して,最良の結果を得た。
さらに、影響行列は、学習分野における共通の実践を支える実証的なエビデンスを提供し、我々のアプローチの有効性をさらに実証する。
ソースコードはhttps://github.com/LOGO-CUHKSZ/MTL-COPで公開されています。
関連論文リスト
- Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。
最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。
本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2025-01-12T17:41:23Z) - Efficient Task Grouping Through Samplewise Optimisation Landscape Analysis [23.177220600984665]
本稿では,既存の手法の圧倒的な計算要求を削減するための効率的なタスクグループ化フレームワークを提案する。
グラフベースのクラスタリングアルゴリズムを用いて、最適タスク群をピンポイントする。
8つの異なるデータセットで実施された実証的な評価は、提案フレームワークの有効性を強調している。
論文 参考訳（メタデータ） (2024-12-05T18:33:59Z) - Efficient Pareto Manifold Learning with Low-Rank Structure [31.082432589391953]
マルチタスク学習は本質的に多目的最適化問題である。
そこで本研究では,複数の低ランク行列を主ネットワークに統合する手法を提案する。
パラメータの数を著しく削減し、共有された特徴の抽出を容易にする。
論文 参考訳（メタデータ） (2024-07-30T11:09:27Z) - Sample Efficient Myopic Exploration Through Multitask Reinforcement
Learning with Diverse Tasks [53.44714413181162]
本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。
我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
論文 参考訳（メタデータ） (2024-03-03T22:57:44Z) - Efficient Meta Neural Heuristic for Multi-Objective Combinatorial
Optimization [35.09656455088854]
本稿では,多目的最適化問題を解くために,効率的なメタニューラルベクトル(EMNH)を提案する。
EMNHは、ソリューションの品質と学習効率の点で最先端のニューラルネットワークより優れている。
論文 参考訳（メタデータ） (2023-10-22T08:59:02Z) - Scalarization for Multi-Task and Multi-Domain Learning at Scale [15.545810422759295]
複数の入力ドメインと/または出力タスクで単一のモデルをトレーニングすることで、複数のソースからの情報を統一されたバックボーンに圧縮することができる。
しかし、これらのネットワークの最適化は、異なるタスクやドメイン間の相違による課題である。
論文 参考訳（メタデータ） (2023-10-13T07:31:04Z) - DL-DRL: A double-level deep reinforcement learning approach for
large-scale task scheduling of multi-UAV [65.07776277630228]
分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。
特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。
また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
論文 参考訳（メタデータ） (2022-08-04T04:35:53Z) - In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。
標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
論文 参考訳（メタデータ） (2022-01-11T18:44:17Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - Small Towers Make Big Differences [59.243296878666285]
マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。
マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。
本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
論文 参考訳（メタデータ） (2020-08-13T10:45:31Z) - Efficient Continuous Pareto Exploration in Multi-Task Learning [34.41682709915956]
本稿では,機械学習問題における最適解の連続解析手法を提案する。
サンプルベーススパース線形システムを提案することにより、現代の機械学習問題に対する多目的最適化の理論結果をスケールアップする。
論文 参考訳（メタデータ） (2020-06-29T23:36:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。