論文の概要: MTL-UE: Learning to Learn Nothing for Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2505.05279v1
• Date: Thu, 08 May 2025 14:26:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.915898
• Title: MTL-UE: Learning to Learn Nothing for Multi-Task Learning
• Title（参考訳）: MTL-UE:マルチタスク学習のための何も学ばない学習
• Authors: Yi Yu, Song Xia, Siyuan Yang, Chenqi Kong, Wenhan Yang, Shijian Lu, Yap-Peng Tan, Alex C. Kot,
• Abstract要約: 本稿では,マルチタスクデータとMLLモデルの非学習可能な例を生成するための,最初の統合フレームワークであるMTL-UEを提案する。 各サンプルに対してロバスト性を最適化する代わりに、ラベル先行とクラスワイズ機能埋め込みを導入したジェネレータベースの構造を設計する。 さらに、MTL-UEは、クラス間の分離を増加させ、クラス内の分散を抑制するために、タスク内およびタスク間埋め込み正規化を組み込んでいる。
• 参考スコア（独自算出の注目度）: 98.42358524454731
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing unlearnable strategies focus on preventing unauthorized users from training single-task learning (STL) models with personal data. Nevertheless, the paradigm has recently shifted towards multi-task data and multi-task learning (MTL), targeting generalist and foundation models that can handle multiple tasks simultaneously. Despite their growing importance, MTL data and models have been largely neglected while pursuing unlearnable strategies. This paper presents MTL-UE, the first unified framework for generating unlearnable examples for multi-task data and MTL models. Instead of optimizing perturbations for each sample, we design a generator-based structure that introduces label priors and class-wise feature embeddings which leads to much better attacking performance. In addition, MTL-UE incorporates intra-task and inter-task embedding regularization to increase inter-class separation and suppress intra-class variance which enhances the attack robustness greatly. Furthermore, MTL-UE is versatile with good supports for dense prediction tasks in MTL. It is also plug-and-play allowing integrating existing surrogate-dependent unlearnable methods with little adaptation. Extensive experiments show that MTL-UE achieves superior attacking performance consistently across 4 MTL datasets, 3 base UE methods, 5 model backbones, and 5 MTL task-weighting strategies.
• Abstract（参考訳）: 既存の学習不可能な戦略は、個人データによるシングルタスク学習(STL)モデルのトレーニングを防止することに集中している。 それにもかかわらず、このパラダイムは最近マルチタスクデータとマルチタスク学習(MTL)に移行し、複数のタスクを同時に処理できる汎用モデルと基礎モデルをターゲットにしている。 その重要性は増しているが、MTLのデータとモデルは、学習不可能な戦略を追求しながら、ほとんど無視されてきた。 本稿では,マルチタスクデータとMLLモデルの非学習可能な例を生成するための,最初の統合フレームワークであるMTL-UEを提案する。 各サンプルに対して摂動を最適化する代わりに、ラベル先行とクラスワイドの機能埋め込みを導入したジェネレータベースの構造を設計し、より優れた攻撃性能を実現する。 さらに、MTL-UEは、タスク内およびタスク間埋め込み正規化を取り入れ、クラス間分離を増加させ、クラス内分散を抑制し、攻撃の堅牢性を大幅に向上させる。 さらに、MTL-UEは、MTLの高密度予測タスクのサポートが良好である。 また、既存のサロゲート依存の非学習可能なメソッドをほとんど適応せずに統合できるプラグイン・アンド・プレイである。 大規模な実験により,MTL-UEは4つのMTLデータセット,3つのベースUEメソッド,5つのモデルバックボーン,5つのMTLタスク重み付け戦略で一貫した攻撃性能を達成できた。

関連論文リスト

• MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
  textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。 提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
  論文  参考訳（メタデータ） (2024-06-17T10:12:45Z)
• Multi-Task Learning as enabler for General-Purpose AI-native RAN [1.4295558450631414]
  本研究では、汎用AIネイティブ無線アクセスネットワーク(RAN)におけるマルチタスク学習(MTL)アプローチの有効性について検討する。 本研究は, (i) セカンダリキャリア予測, (ii) ユーザ位置予測, (iii) 屋内リンク分類, (iv) 視線リンク分類の4つのタスクに焦点を当てた。 モデルアーキテクチャ,損失と勾配のバランス戦略,分散学習トポロジ,データ空間,タスクグループ化など,MLLの多面的設計面を考慮した現実的なシミュレーションによる性能評価を行った。
  論文  参考訳（メタデータ） (2024-04-05T21:12:25Z)
• Multitask Learning Can Improve Worst-Group Outcomes [76.92646345152788]
  マルチタスク学習(MTL)は、そのような広く使われている技法の一つである。 我々は,共同マルチタスク表現空間を正規化することにより,標準MTLを変更することを提案する。 正規化MTLアプローチは,平均群と最低群の両方でJTTを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-05T21:38:24Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Multi-Task Recommendations with Reinforcement Learning [20.587553899753903]
  マルチタスク学習(MTL)は、Recommender System(RS)アプリケーションで大きな成功を収めた。 本稿では,動的重みを用いた推薦タスクの損失を組み合わせ,強化学習(RL)強化MTLフレームワークであるRMTLを提案する。 2つの実世界の公開データセットの実験は、最先端のMTLベースのレコメンデーションモデルに対する高いAUCによるRMTLの有効性を示す。
  論文  参考訳（メタデータ） (2023-02-07T09:11:17Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• When to Use Multi-Task Learning vs Intermediate Fine-Tuning for Pre-Trained Encoder Transfer Learning [15.39115079099451]
  近年,自然言語処理における伝達学習(TL)への関心が高まっている。 微調整中に複数の教師付きデータセットを使用するための3つの主要な戦略が登場した。 GLUEデータセットの包括的解析において,3つのTL手法を比較した。
  論文  参考訳（メタデータ） (2022-05-17T06:48:45Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。