論文の概要: Multi-task problems are not multi-objective
- arxiv url: http://arxiv.org/abs/2110.07301v1
- Date: Thu, 14 Oct 2021 12:08:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-15 22:05:50.834917
- Title: Multi-task problems are not multi-objective
- Title(参考訳): マルチタスク問題はマルチ目的ではない
- Authors: Michael Ruchte and Josif Grabocka
- Abstract要約: 多目的最適化(MOO)は、与えられた目的のセットに対して最適な設定セットを見つけることを目的としている。
マルチタスク学習(MTL)問題とMOO問題の特徴が似ていないことを示す。
その結果、単一のモデルがすべての目的を独立モデルで最適化するだけでなく、MOOを適用不可能にすることができる。
- 参考スコア(独自算出の注目度): 2.0305676256390934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-objective optimization (MOO) aims at finding a set of optimal
configurations for a given set of objectives. A recent line of work applies MOO
methods to the typical Machine Learning (ML) setting, which becomes
multi-objective if a model should optimize more than one objective, for
instance in fair machine learning. These works also use Multi-Task Learning
(MTL) problems to benchmark MOO algorithms treating each task as independent
objective.
In this work we show that MTL problems do not resemble the characteristics of
MOO problems. In particular, MTL losses are not competing in case of a
sufficiently expressive single model. As a consequence, a single model can
perform just as well as optimizing all objectives with independent models,
rendering MOO inapplicable. We provide evidence with extensive experiments on
the widely used Multi-Fashion-MNIST datasets. Our results call for new
benchmarks to evaluate MOO algorithms for ML. Our code is available at:
https://github.com/ruchtem/moo-mtl.
- Abstract(参考訳): 多目的最適化(MOO)は、与えられた目的セットに対して最適な設定セットを見つけることを目的としている。
最近の一連の研究は、典型的な機械学習(ML)設定にMOOメソッドを適用している。
これらの研究は、MOOアルゴリズムのベンチマークにMulti-Task Learning (MTL) 問題も用いている。
本研究では, MTL問題とMOO問題の特徴が似ていないことを示す。
特に、十分表現力のある単一モデルの場合、MTL損失は競合しない。
その結果、単一のモデルがすべての目的を独立モデルで最適化するだけでなく、MOOを適用不可能にすることができる。
広範に使われているMNISTデータセットについて広範な実験を行った。
その結果,MLのためのMOOアルゴリズムを評価するための新しいベンチマークが求められた。
私たちのコードは、https://github.com/ruchtem/moo-mtl.comで利用可能です。
関連論文リスト
- Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - Multitask Learning Can Improve Worst-Group Outcomes [76.92646345152788]
マルチタスク学習(MTL)は、そのような広く使われている技法の一つである。
我々は,共同マルチタスク表現空間を正規化することにより,標準MTLを変更することを提案する。
正規化MTLアプローチは,平均群と最低群の両方でJTTを上回っていることがわかった。
論文 参考訳(メタデータ) (2023-12-05T21:38:24Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳(メタデータ) (2023-08-25T01:41:04Z) - Generative Multimodal Entity Linking [26.570627753768605]
マルチモーダルエンティティリンク(英: Multimodal Entity Linking、MEL)は、知識ベース(ウィキペディアなど)からの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。
既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。
GEMELは,大規模言語モデル(LLM)をベースとした,シンプルで効果的な生成型マルチモーダルエンティティリンクフレームワークである。
モデルパラメータの0.3%しか微調整されていないため、GEMELは2つの確立されたMELデータセットの最先端結果を達成する。
論文 参考訳(メタデータ) (2023-06-22T07:57:19Z) - Task Aware Feature Extraction Framework for Sequential Dependence
Multi-Task Learning [1.0765359420035392]
我々は厳密な数学的観点から逐次依存型MLLを解析する。
逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-01-06T13:12:59Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-03-09T17:26:53Z) - Multi-Task Learning on Networks [0.0]
マルチタスク学習コンテキストで発生する多目的最適化問題は、特定の特徴を持ち、アドホックな方法を必要とする。
この論文では、入力空間の解は、関数評価に含まれる知識をカプセル化した確率分布として表現される。
確率分布のこの空間では、ワッサーシュタイン距離によって与えられる計量が与えられ、モデルが目的関数に直接依存しないような新しいアルゴリズムMOEA/WSTを設計することができる。
論文 参考訳(メタデータ) (2021-12-07T09:13:10Z) - Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and
Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。
既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。
本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-09T08:47:58Z) - A Unified Object Motion and Affinity Model for Online Multi-Object
Tracking [127.5229859255719]
オブジェクトの動きと親和性モデルを単一のネットワークに統一する新しいMOTフレームワークUMAを提案する。
UMAは、単一物体追跡とメートル法学習をマルチタスク学習により統合された三重項ネットワークに統合する。
我々は,タスク認識機能学習を促進するために,タスク固有のアテンションモジュールを装備する。
論文 参考訳(メタデータ) (2020-03-25T09:36:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。