論文の概要: Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models

• arxiv url: http://arxiv.org/abs/2405.16560v1
• Date: Sun, 26 May 2024 13:11:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 20:29:27.975015
• Title: Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models
• Title（参考訳）: タスクグルーピングの正規化:不均一事前学習モデルによるデータ自由メタラーニング
• Authors: Yongxian Wei, Zixuan Hu, Li Shen, Zhenyi Wang, Yu Li, Chun Yuan, Dacheng Tao,
• Abstract要約: Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。 課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
• 参考スコア（独自算出の注目度）: 83.02797560769285
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Data-Free Meta-Learning (DFML) aims to derive knowledge from a collection of pre-trained models without accessing their original data, enabling the rapid adaptation to new unseen tasks. Current methods often overlook the heterogeneity among pre-trained models, which leads to performance degradation due to task conflicts. In this paper, we empirically and theoretically identify and analyze the model heterogeneity in DFML. We find that model heterogeneity introduces a heterogeneity-homogeneity trade-off, where homogeneous models reduce task conflicts but also increase the overfitting risk. Balancing this trade-off is crucial for learning shared representations across tasks. Based on our findings, we propose Task Groupings Regularization, a novel approach that benefits from model heterogeneity by grouping and aligning conflicting tasks. Specifically, we embed pre-trained models into a task space to compute dissimilarity, and group heterogeneous models together based on this measure. Then, we introduce implicit gradient regularization within each group to mitigate potential conflicts. By encouraging a gradient direction suitable for all tasks, the meta-model captures shared representations that generalize across tasks. Comprehensive experiments showcase the superiority of our approach in multiple benchmarks, effectively tackling the model heterogeneity in challenging multi-domain and multi-architecture scenarios.
• Abstract（参考訳）: Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。 本稿では,DFMLにおけるモデル不均一性を実証的,理論的に同定し,解析する。 モデルの不均一性は、均質なモデルがタスクの衝突を減らすだけでなく、過度に適合するリスクを増大させる異質性-均一性トレードオフをもたらす。 このトレードオフのバランスをとることは、タスク間で共有表現を学ぶために重要です。 本研究は,タスク群正規化(Task Groupings Regularization)を提案する。 具体的には、学習前のモデルをタスク空間に埋め込んで異種性を計算し、この尺度に基づいて異種モデルをグループ化する。 そして、潜在的な対立を緩和するために、各グループ内で暗黙的な勾配正規化を導入する。 すべてのタスクに適した勾配方向を奨励することにより、メタモデルはタスク全体にわたって一般化された共有表現をキャプチャする。 総合的な実験では、複数のベンチマークでアプローチの優位性を示し、挑戦的なマルチドメインとマルチアーキテクチャのシナリオにおいて、モデルの不均一性に効果的に取り組みます。

関連論文リスト

• U-aggregation: Unsupervised Aggregation of Multiple Learning Algorithms [4.871473117968554]
  新人口の強化とロバスト化のための教師なしモデルアグリゲーション手法U-アグリゲーションを提案する。 既存の教師付きモデルアグリゲーションや超学習者アプローチとは異なり、U-アグリゲーションは対象人口の観測されたラベルや成果を仮定しない。 複雑な形質の遺伝的リスク予測を高めるために,U凝集を用いた実世界の応用の可能性を示す。
  論文  参考訳（メタデータ） (2025-01-30T01:42:51Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [74.02034188307857]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存の手法は必然的にタスク固有の情報を破棄し、競合の原因となっているが、パフォーマンスには不可欠である。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Mixture of basis for interpretable continual learning with distribution shifts [1.6114012813668934]
  データ分散のシフトを伴う環境での継続的な学習は、いくつかの現実世界のアプリケーションでは難しい問題である。 本稿では,この問題設定に対処するために,ベイシモデル(MoB)の混合方式を提案する。
  論文  参考訳（メタデータ） (2022-01-05T22:53:15Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。