論文の概要: DiBS-MTL: Transformation-Invariant Multitask Learning with Direction Oracles

• arxiv url: http://arxiv.org/abs/2509.23948v1
• Date: Sun, 28 Sep 2025 15:57:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.549595
• Title: DiBS-MTL: Transformation-Invariant Multitask Learning with Direction Oracles
• Title（参考訳）: DiBS-MTL:方向オラクルを用いた変換不変マルチタスク学習
• Authors: Surya Murthy, Kushagra Gupta, Mustafa O. Karabag, David Fridovich-Keil, Ufuk Topcu,
• Abstract要約: マルチタスク学習(MTL)アルゴリズムは、通常、異なるタスク損失または重み付き平均化による勾配を組み合わせたスキームに依存する。 このような場合、タスクの損失を任意にスケールできるため、中心的な課題が発生する。 非MTL設定におけるDiBSの収束挙動は理解されていないことを示す。
• 参考スコア（独自算出の注目度）: 20.925878778939083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multitask learning (MTL) algorithms typically rely on schemes that combine different task losses or their gradients through weighted averaging. These methods aim to find Pareto stationary points by using heuristics that require access to task loss values, gradients, or both. In doing so, a central challenge arises because task losses can be arbitrarily, nonaffinely scaled relative to one another, causing certain tasks to dominate training and degrade overall performance. A recent advance in cooperative bargaining theory, the Direction-based Bargaining Solution (DiBS), yields Pareto stationary solutions immune to task domination because of its invariance to monotonic nonaffine task loss transformations. However, the convergence behavior of DiBS in nonconvex MTL settings is currently not understood. To this end, we prove that under standard assumptions, a subsequence of DiBS iterates converges to a Pareto stationary point when task losses are possibly nonconvex, and propose DiBS-MTL, a computationally efficient adaptation of DiBS to the MTL setting. Finally, we validate DiBS-MTL empirically on standard MTL benchmarks, showing that it achieves competitive performance with state-of-the-art methods while maintaining robustness to nonaffine monotonic transformations that significantly degrade the performance of existing approaches, including prior bargaining-inspired MTL methods. Code available at https://github.com/suryakmurthy/dibs-mtl.
• Abstract（参考訳）: マルチタスク学習(MTL)アルゴリズムは、通常、異なるタスク損失または重み付き平均化による勾配を組み合わせたスキームに依存する。 これらの手法は,タスク損失値や勾配,あるいはその両方へのアクセスを必要とするヒューリスティックを用いて,Pareto定常点を見つけることを目的としている。 そうすることで、タスクの損失が任意に、互いに不適切にスケールでき、特定のタスクがトレーニングを支配し、全体的なパフォーマンスを低下させるため、中心的な課題が生じる。 協調交渉理論の最近の進歩であるディディションベースの交渉解(DiBS)は、単調な非アフィンなタスク損失変換に不変なパレート定常解をもたらす。 しかし、非凸MTL設定におけるDiBSの収束挙動は現時点では理解されていない。 この目的のために、標準的な仮定の下では、タスク損失が非凸である場合、DiBSの反復列がパレート定常点に収束し、DIBS-MTLを提案する。 最後に,DIBS-MTL を標準的な MTL ベンチマークで実証的に検証し,非アフィンモノトニック変換に対するロバスト性を維持しつつ,最先端の手法と競合する性能を実現し,先行バーゲティング・インスパイアされた MTL 手法を含む既存手法の性能を著しく低下させることを示した。 コードはhttps://github.com/suryakmurthy/dibs-mtl.comで公開されている。

関連論文リスト

• LDC-MTL: Balancing Multi-Task Learning through Scalable Loss Discrepancy Control [48.98651927356094]
  マルチタスク学習(MTL)は、複数のタスクを同時に学習する能力に広く採用されている。 両レベル最適化の観点から定式化されたMDLの簡易かつスケーラブルな損失分散制御手法であるLCC-MTLを提案する。 提案手法は2つの重要な要素を包含する: (i) 細粒度損失分散制御のための2レベル定式化, (ii) 時間とメモリを$mathcalO(1)$でしか必要としないスケーラブルな1次2レベルアルゴリズム。
  論文  参考訳（メタデータ） (2025-02-12T17:18:14Z)
• Multi-task learning via robust regularized clustering with non-convex group penalties [0.0]
  マルチタスク学習(MTL)は、関連するタスク間で共通情報を共有することにより、推定性能を向上させることを目的としている。 この仮定に基づく既存のMTLメソッドは、しばしば外れたタスクを無視する。 MTLRRC(MultiTask Regularized Clustering)と呼ばれる新しいMTL手法を提案する。
  論文  参考訳（メタデータ） (2024-04-04T07:09:43Z)
• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• FairBranch: Mitigating Bias Transfer in Fair Multi-task Learning [15.319254128769973]
  マルチタスク学習(MTL)は、無関係なタスクが相反する勾配で共有パラメータを更新することで、互いに悪影響を及ぼすことに悩む。 これは負の転送と呼ばれ、シングルタスク学習(STL)と比較してMTLの精度が低下する。
  論文  参考訳（メタデータ） (2023-10-20T18:07:15Z)
• Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
  マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T14:28:26Z)
• Dual-Balancing for Multi-Task Learning [42.613360970194734]
  本稿では、損失と勾配の両面からタスクバランスの問題を軽減するために、Dual-Balancing Multi-Task Learning (DB-MTL)法を提案する。 DB-MTLは、各タスク損失に対して対数変換を行うことで損失スケールの分散を保証し、すべてのタスク勾配を最大勾配基準と同じ大きさに正規化することで勾配磁度バランスを保証します。
  論文  参考訳（メタデータ） (2023-08-23T09:41:28Z)
• Meta-Learning Adversarial Bandits [49.094361442409785]
  本研究の目的は,複数のタスクにまたがる帯域幅フィードバックを用いてオンライン学習を学習し,タスク間の平均性能を改善することである。 敵対的設定を最初に対象とするメタアルゴリズムとして,マルチアーム・バンディット(MAB)とバンディット・最適化(BLO)の2つの重要なケースに対して,特定の保証を設定するメタアルゴリズムを設計する。 我々の保証は、非正規化されたフォローザリーダーと乗法重みを組み合わせることで、オンラインで非滑らかで非Bシーケンスを学ぶのに十分であることを示すことに依存しています。
  論文  参考訳（メタデータ） (2022-05-27T17:40:32Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。