論文の概要: Robust and Adaptive Spectral Method for Representation Multi-Task Learning with Contamination

• arxiv url: http://arxiv.org/abs/2509.06575v1
• Date: Mon, 08 Sep 2025 11:41:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:04.095263
• Title: Robust and Adaptive Spectral Method for Representation Multi-Task Learning with Contamination
• Title（参考訳）: 汚染を考慮したマルチタスク学習のためのロバスト・適応スペクトル法
• Authors: Yian Huang, Yang Feng, Zhiliang Ying,
• Abstract要約: 本稿では, 未知かつ潜在的に大きな汚染率を有する表現型MLLに挑戦する。 本稿では,共有不整合表現を効果的かつ効率的に蒸留できるRobust and Adaptive Spectral法(RAS)を提案する。
• 参考スコア（独自算出の注目度）: 12.976560150719928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation-based multi-task learning (MTL) improves efficiency by learning a shared structure across tasks, but its practical application is often hindered by contamination, outliers, or adversarial tasks. Most existing methods and theories assume a clean or near-clean setting, failing when contamination is significant. This paper tackles representation MTL with an unknown and potentially large contamination proportion, while also allowing for heterogeneity among inlier tasks. We introduce a Robust and Adaptive Spectral method (RAS) that can distill the shared inlier representation effectively and efficiently, while requiring no prior knowledge of the contamination level or the true representation dimension. Theoretically, we provide non-asymptotic error bounds for both the learned representation and the per-task parameters. These bounds adapt to inlier task similarity and outlier structure, and guarantee that RAS performs at least as well as single-task learning, thus preventing negative transfer. We also extend our framework to transfer learning with corresponding theoretical guarantees for the target task. Extensive experiments confirm our theory, showcasing the robustness and adaptivity of RAS, and its superior performance in regimes with up to 80\% task contamination.
• Abstract（参考訳）: 表象に基づくマルチタスク学習(MTL)は、タスク間で共有構造を学習することで効率を向上させるが、その実践的応用は、しばしば汚染、アウトリーチ、敵のタスクによって妨げられる。 既存の方法や理論の多くは、汚染が重要である場合に失敗する、クリーンまたはほぼクリーンな設定を前提としている。 本稿では,未知かつ潜在的に大きな汚染率を持つ表現型MLLに取り組み,不整合タスク間の不均一性を実現する。 我々は、汚染レベルや真の表現次元について事前の知識を必要とせず、共有不整合表現を効果的に効率的に蒸留できるロバスト・アダプティブスペクトル法(RAS)を導入する。 理論的には、学習された表現とタスク毎のパラメータの両方に対して非漸近誤差境界を提供する。 これらの境界は、不整タスク類似性と外乱構造に適応し、RASが少なくともシングルタスク学習と同様に機能することを保証し、負の移動を防止する。 また,本フレームワークを,対象タスクに対する理論的保証とともに,学習の伝達にも拡張する。 広範囲にわたる実験により、RASの堅牢性と適応性を示し、最大80%のタスク汚染を有する体制において優れた性能を示した。

関連論文リスト

• Robust-Multi-Task Gradient Boosting [6.718184400443239]
  マルチタスク学習(MTL)は、タスク間の共有情報を利用して一般化を改善する効果を示す。 本稿では,R-MTGB(Robust-Multi-Task Gradient Boosting)を提案する。 R-MTGBは学習プロセスを3つのブロックに構成する:(1)共有パターンの学習、(2)正規化パラメータを持つ逐次タスクを外れ値と非外れ値に分割、(3)微調整タスク固有の予測器。
  論文  参考訳（メタデータ） (2025-07-15T15:31:12Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Provable Benefits of Multi-task RL under Non-Markovian Decision Making Processes [56.714690083118406]
  マルコフ決定過程 (MDP) 下でのマルチタスク強化学習 (RL) において, 共有潜在構造の存在は, シングルタスクRLと比較して, サンプル効率に有意な利益をもたらすことが示されている。 このような利点が、部分的に観測可能なMDP(POMDP)やより一般的な予測状態表現(PSR)といった、より一般的なシーケンシャルな意思決定問題にまで拡張できるかどうかを検討する。 提案手法は,全てのPSRに対してほぼ最適ポリシーを求めるための,証明可能なアルゴリズム UMT-PSR を提案し,PSR の合同モデルクラスが有するマルチタスク学習の利点が示されることを示す。
  論文  参考訳（メタデータ） (2023-10-20T14:50:28Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture Models [13.07916598175886]
  GMMにおけるマルチタスク学習問題について検討する。 本稿では,EMアルゴリズムに基づくマルチタスクGMM学習手法を提案する。 我々はGMMにおける伝達学習の課題に取り組むためのアプローチを一般化する。
  論文  参考訳（メタデータ） (2022-09-30T04:35:12Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。