論文の概要: Efficient Task Grouping Through Samplewise Optimisation Landscape Analysis

• arxiv url: http://arxiv.org/abs/2412.04413v2
• Date: Mon, 09 Dec 2024 14:46:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:53:57.109426
• Title: Efficient Task Grouping Through Samplewise Optimisation Landscape Analysis
• Title（参考訳）: サンプル最適化ランドスケープ解析による効率的なタスクグループ化
• Authors: Anshul Thakur, Yichen Huang, Soheila Molaei, Yujiang Wang, David A. Clifton,
• Abstract要約: 本稿では,既存の手法の圧倒的な計算要求を削減するための効率的なタスクグループ化フレームワークを提案する。 グラフベースのクラスタリングアルゴリズムを用いて、最適タスク群をピンポイントする。 8つの異なるデータセットで実施された実証的な評価は、提案フレームワークの有効性を強調している。
• 参考スコア（独自算出の注目度）: 23.177220600984665
• License:
• Abstract: Shared training approaches, such as multi-task learning (MTL) and gradient-based meta-learning, are widely used in various machine learning applications, but they often suffer from negative transfer, leading to performance degradation in specific tasks. While several optimisation techniques have been developed to mitigate this issue for pre-selected task cohorts, identifying optimal task combinations for joint learning - known as task grouping - remains underexplored and computationally challenging due to the exponential growth in task combinations and the need for extensive training and evaluation cycles. This paper introduces an efficient task grouping framework designed to reduce these overwhelming computational demands of the existing methods. The proposed framework infers pairwise task similarities through a sample-wise optimisation landscape analysis, eliminating the need for the shared model training required to infer task similarities in existing methods. With task similarities acquired, a graph-based clustering algorithm is employed to pinpoint near-optimal task groups, providing an approximate yet efficient and effective solution to the originally NP-hard problem. Empirical assessments conducted on 8 different datasets highlight the effectiveness of the proposed framework, revealing a five-fold speed enhancement compared to previous state-of-the-art methods. Moreover, the framework consistently demonstrates comparable performance, confirming its remarkable efficiency and effectiveness in task grouping.
• Abstract（参考訳）: マルチタスク学習(MTL)や勾配に基づくメタラーニングといった共有トレーニングアプローチは、さまざまな機械学習アプリケーションで広く使用されているが、負の転送に悩まされ、特定のタスクのパフォーマンスが低下する。 事前選択されたタスクコホートに対するこの問題を軽減するために、いくつかの最適化技術が開発されているが、タスクグルーピングとして知られる共同学習のための最適なタスクの組み合わせを特定することは、タスクの組み合わせの指数的増加と広範囲なトレーニングと評価サイクルの必要性により、未熟で計算的に困難である。 本稿では,既存の手法の計算負荷を削減すべく,効率的なタスクグループ化フレームワークを提案する。 提案フレームワークは,サンプルワイズ最適化ランドスケープ解析により,タスク類似性を推定し,既存の手法でタスク類似性を推定するために必要な共有モデルトレーニングを不要にする。 タスク類似性を取得すると、グラフベースのクラスタリングアルゴリズムが、ほぼ最適タスク群をピンポイントし、元のNPハード問題に対する近似的かつ効率的ソリューションを提供する。 8つの異なるデータセットで実施された実証的な評価では、提案フレームワークの有効性が強調され、従来の最先端手法と比較して5倍のスピード向上が示された。 さらに、このフレームワークは一貫して同等のパフォーマンスを示し、タスクグループ化におけるその顕著な効率性と有効性を確認している。

関連論文リスト

• Divergence-Based Domain Transferability for Zero-Shot Classification [78.55044112903148]
  事前訓練されたニューラルネットワークモデルから学習パターンを転送することで、さまざまな言語ベースのタスクにおける効果が大幅に向上することが示されている。 中間タスクが目的タスクと十分に関係している場合、中間タスクのさらなるチューニングにより、さらなるパフォーマンス上のメリットが示される。 しかし、関連するタスクの特定方法はオープンな問題であり、効果的なタスクの組み合わせをブルートフォースで探すのは非常に高価である。
  論文  参考訳（メタデータ） (2023-02-11T16:04:38Z)
• Multi-Task Learning with Prior Information [5.770309971945476]
  本稿では,機能間の関係に関する事前知識を利用するマルチタスク学習フレームワークを提案する。 また、各特徴に対して変化する係数に対してペナルティを課し、それらの共通する特徴に類似した係数を持つことを保証します。
  論文  参考訳（メタデータ） (2023-01-04T12:48:05Z)
• Semisoft Task Clustering for Multi-Task Learning [2.806911268410107]
  マルチタスク学習(MTL)は、複数の関連する予測タスクの性能を向上させることを目的としている。 そこで本研究では,タスククラスタリング構造を半ソフトなタスククラスタリング手法として提案する。 合成および実世界のデータセットに基づく実験結果は,提案手法の有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-11-28T07:23:56Z)
• Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
  アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。 スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。 我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
  論文  参考訳（メタデータ） (2022-11-01T03:20:28Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。 本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
  論文  参考訳（メタデータ） (2021-09-10T02:01:43Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)
• Gradient Surgery for Multi-Task Learning [119.675492088251]
  マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。 マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。 本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
  論文  参考訳（メタデータ） (2020-01-19T06:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。