論文の概要: Robust-Multi-Task Gradient Boosting

• arxiv url: http://arxiv.org/abs/2507.11411v1
• Date: Tue, 15 Jul 2025 15:31:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 19:46:03.172201
• Title: Robust-Multi-Task Gradient Boosting
• Title（参考訳）: Robust-Multi-Task Gradient Boosting
• Authors: Seyedsaman Emami, Gonzalo Martínez-Muñoz, Daniel Hernández-Lobato,
• Abstract要約: マルチタスク学習(MTL)は、タスク間の共有情報を利用して一般化を改善する効果を示す。 本稿では,R-MTGB(Robust-Multi-Task Gradient Boosting)を提案する。 R-MTGBは学習プロセスを3つのブロックに構成する:(1)共有パターンの学習、(2)正規化パラメータを持つ逐次タスクを外れ値と非外れ値に分割、(3)微調整タスク固有の予測器。
• 参考スコア（独自算出の注目度）: 6.718184400443239
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-task learning (MTL) has shown effectiveness in exploiting shared information across tasks to improve generalization. MTL assumes tasks share similarities that can improve performance. In addition, boosting algorithms have demonstrated exceptional performance across diverse learning problems, primarily due to their ability to focus on hard-to-learn instances and iteratively reduce residual errors. This makes them a promising approach for learning multi-task problems. However, real-world MTL scenarios often involve tasks that are not well-aligned (known as outlier or adversarial tasks), which do not share beneficial similarities with others and can, in fact, deteriorate the performance of the overall model. To overcome this challenge, we propose Robust-Multi-Task Gradient Boosting (R-MTGB), a novel boosting framework that explicitly models and adapts to task heterogeneity during training. R-MTGB structures the learning process into three sequential blocks: (1) learning shared patterns, (2) partitioning tasks into outliers and non-outliers with regularized parameters, and (3) fine-tuning task-specific predictors. This architecture enables R-MTGB to automatically detect and penalize outlier tasks while promoting effective knowledge transfer among related tasks. Our method integrates these mechanisms seamlessly within gradient boosting, allowing robust handling of noisy or adversarial tasks without sacrificing accuracy. Extensive experiments on both synthetic benchmarks and real-world datasets demonstrate that our approach successfully isolates outliers, transfers knowledge, and consistently reduces prediction errors for each task individually, and achieves overall performance gains across all tasks. These results highlight robustness, adaptability, and reliable convergence of R-MTGB in challenging MTL environments.
• Abstract（参考訳）: マルチタスク学習(MTL)は、タスク間の共有情報を利用して一般化を改善する効果を示す。 MTLはタスクがパフォーマンスを向上させる類似性を共有することを前提としている。 さらに、アルゴリズムの強化は様々な学習問題にまたがる例外的なパフォーマンスを示してきた。 これにより、マルチタスク問題を学ぶための有望なアプローチとなる。 しかし、現実世界のMTLシナリオは、よく整合していないタスク(外れや逆行タスクとして知られる)を伴い、他人と有益な類似性を共有しておらず、実際、全体のモデルの性能を劣化させる可能性がある。 この課題を克服するために、トレーニング中にタスクの不均一性を明示的にモデル化し適応する新しいブースティングフレームワークであるRobust-Multi-Task Gradient Boosting (R-MTGB)を提案する。 R-MTGB は,学習過程を,(1) 共有パターンの学習,(2) 正規化パラメータを持つ外部と非外部に分割,(3) 微調整タスク固有の予測器の3つのブロックに構成する。 このアーキテクチャにより、R-MTGBは、関連するタスク間の効果的な知識伝達を促進しながら、自動的に外れたタスクを検出し、ペナルティ化する。 本手法は,これらのメカニズムを勾配押し上げにシームレスに統合し,雑音や逆タスクの頑健なハンドリングを精度を犠牲にすることなく実現する。 総合的なベンチマークと実世界のデータセットによる実験により、我々のアプローチは、アウトレーヤをうまく分離し、知識を伝達し、各タスクの予測エラーを個々に減らし、全てのタスクで全体的なパフォーマンス向上を達成することを示した。 これらの結果は, MTL環境におけるR-MTGBの堅牢性, 適応性, 信頼性の高い収束性を示す。

関連論文リスト

• Multi-task learning via robust regularized clustering with non-convex group penalties [0.0]
  マルチタスク学習(MTL)は、関連するタスク間で共通情報を共有することにより、推定性能を向上させることを目的としている。 この仮定に基づく既存のMTLメソッドは、しばしば外れたタスクを無視する。 MTLRRC(MultiTask Regularized Clustering)と呼ばれる新しいMTL手法を提案する。
  論文  参考訳（メタデータ） (2024-04-04T07:09:43Z)
• InterroGate: Learning to Share, Specialize, and Prune Representations for Multi-task Learning [17.66308231838553]
  推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。 学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
  論文  参考訳（メタデータ） (2024-02-26T18:59:52Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Task-Agnostic Continual Reinforcement Learning: Gaining Insights and Overcoming Challenges [27.474011433615317]
  連続学習(CL)は、一連のタスクから学習するモデルやエージェントの開発を可能にする。 タスクに依存しないCLとマルチタスク(MTL)エージェントのパフォーマンス差に寄与する要因について検討する。
  論文  参考訳（メタデータ） (2022-05-28T17:59:00Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task Feature Learning [0.0]
  マルチタスク学習(MTL)は、シングルタスク学習(STL)と比較して全体的なタスクパフォーマンスを向上させることができるが、負の転送(NT)を隠すことができる。 非対称マルチタスク特徴学習(AMTFL)は、損失値の高いタスクが他のタスクを学習するための特徴表現に与える影響を小さくすることで、この問題に対処しようとするアプローチである。 2つのデータセット (画像認識と薬理ゲノミクス) におけるntの例を示し, 課題間の相対的信頼度を捉え, タスク損失の重み付けを行うことにより, この課題に挑戦する。
  論文  参考訳（メタデータ） (2020-12-17T13:30:45Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。