論文の概要: Contaminated Multi-task Learning with Heterogeneity: Fundamental Limits and Optimal Algorithms
- arxiv url: http://arxiv.org/abs/2607.02681v1
- Date: Thu, 02 Jul 2026 18:23:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.390902
- Title: Contaminated Multi-task Learning with Heterogeneity: Fundamental Limits and Optimal Algorithms
- Title（参考訳）: 不均一性を考慮したマルチタスク学習:基本限界と最適アルゴリズム
- Abstract要約: 汚染されたマルチタスクの実験的リスク最小化フレームワークについて検討する。
我々の目標は、平均リスクの世界的な最小化とタスク固有の最小化の両方を見積もることです。
計算効率の良いフィルタリングに基づくロバストなマルチタスク勾配勾配法を提案する。
- 参考スコア（独自算出の注目度）: 5.54992643082602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Integrating information across related tasks can improve estimation and prediction in transfer, multi-task, and federated learning, but contamination and heterogeneity make robust borrowing challenging. We study a contaminated multi-task empirical risk minimization (ERM) framework in which an $ε$ fraction of $K$ tasks, each with sample size $n$, may be arbitrarily contaminated while the remaining tasks are heterogeneous. Our goal is to estimate both the global minimizer of the average risk and the clean task-specific minimizers, thereby combining robustness and personalization. In the Gaussian mean model, we show that several common paradigms, including adaptive and robust regularization around a shared center, global matrix regularization, decomposition-based regularization, and score-based outlier-task detection, all suffer from a worst-case contamination error of order $ε\sqrt{d/n}$, which is suboptimal compared to the lower bound $ε/\sqrt{n}$. This identifies a dimension-dependent barrier for these approaches. We then establish minimax lower bounds for a general heterogeneous ERM setting and propose a computationally efficient filtering-based robust multi-task gradient descent method. Under local strong convexity, smoothness, and sub-Gaussian gradient assumptions, the proposed method attains high-probability upper bounds matching the minimax rates up to logarithmic factors over a broad regime. In particular, it removes the extra $\sqrt{d}$ contamination dependence of many regularization-based methods and score-based outlier detection, while achieving personalization to local tasks under strong heterogeneity. Simulations and a real-data analysis demonstrate strong robustness and personalization relative to a broad range of benchmark methods.
- Abstract（参考訳）: 関連するタスク間の情報の統合は、転送、マルチタスク、フェデレーション学習における予測と予測を改善することができるが、汚染と不均一性は堅牢な借入を困難にする。
汚染されたマルチタスク経験的リスク最小化 (ERM) フレームワークについて検討し, 残りのタスクが不均一である間に, サンプルサイズが$n$のタスクのε$分を任意に汚染することができることを示した。
我々の目標は、平均リスクのグローバルな最小化とクリーンなタスク固有の最小化の両方を推定し、堅牢性とパーソナライゼーションを組み合わせることである。
ガウス平均モデルでは、共有中心の周辺での適応的かつ堅牢な正則化、大域的行列正則化、分解に基づく正則化、スコアに基づくアウトリア・タスク検出などを含むいくつかの共通パラダイムが、下限の$ε/\sqrt{n}$に対して最適であるオーダー$ε\sqrt{d/n}$の最悪のケース汚染エラーに悩まされていることを示す。
これにより、これらのアプローチの次元依存障壁が特定される。
次に、一般的な異種EMM設定のためのミニマックス下界を確立し、計算効率の良いフィルタリングに基づく頑健なマルチタスク勾配法を提案する。
局所的な強凸性, 滑らか性, および準ガウス勾配の仮定の下で, 提案手法は極小値の値に一致する高確率上限を実現する。
特に、強い不均一性の下で局所的なタスクへのパーソナライズを達成しつつ、多くの正規化ベースのメソッドとスコアベースのアウトリア検出の余分な$\sqrt{d}$汚染依存を取り除く。
シミュレーションと実データ解析は、幅広いベンチマーク手法と比較して強い堅牢性とパーソナライゼーションを示す。
関連論文リスト
- Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。
主な課題は、敵の計測と非同期である。
その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
論文 参考訳（メタデータ） (2026-04-07T11:45:55Z) - Statistical Analysis of Conditional Group Distributionally Robust Optimization with Cross-Entropy Loss [16.1456465253627]
本研究では、複数のソースドメインからラベル付きデータを入手でき、対象ドメインからラベルなしデータのみを観測できるマルチソース非教師付きドメイン適応について検討する。
本稿では,情報源領域からの条件付き結果分布の凸結合を最小化することにより,分類器を学習するグループ分散条件最適化フレームワークを提案する。
実験的なCG-DRO推定器の高速な統計的収束速度を,理論ブリッジとして機能する2つの代理極小最適化問題を構築することにより確立する。
論文 参考訳（メタデータ） (2025-07-14T04:21:23Z) - Asymptotically Optimal Linear Best Feasible Arm Identification with Fixed Budget [55.938644481736446]
本稿では,誤差確率の指数的減衰を保証し,最適な腕識別のための新しいアルゴリズムを提案する。
我々は,複雑性のレベルが異なる様々な問題インスタンスに対する包括的経験的評価を通じて,アルゴリズムの有効性を検証する。
論文 参考訳（メタデータ） (2025-06-03T02:56:26Z) - Sharper Risk Bound for Multi-Task Learning with Multi-Graph Dependent Data [5.42833955464548]
既存の一般化解析では、Emphsub-Optimal risk bound of $O(frac1sqrtn)$, where $n$は各タスクのトレーニングサンプルの数である。
本稿では,新たなベネット型不等式を提案し,よりシャープなリスク境界である$O(fraclog nn)$を導出する。
論文 参考訳（メタデータ） (2025-02-25T12:57:53Z) - Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency [52.60557300927007]
離散部分モジュラー問題を連続的に最適化するために,$textbfMA-OSMA$アルゴリズムを提案する。
また、一様分布を混合することによりKLの発散を効果的に活用する、プロジェクションフリーな$textbfMA-OSEA$アルゴリズムも導入する。
我々のアルゴリズムは最先端OSGアルゴリズムによって提供される$(frac11+c)$-approximationを大幅に改善する。
論文 参考訳（メタデータ） (2025-02-07T15:57:56Z) - Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning [12.947265104477237]
データから因果関係を抽出することは、科学的発見、治療介入、伝達学習における根本的な問題である。
本稿では,複数の環境における回帰モデルにおける非パラメトリック不変性と因果学習に対処するアルゴリズムを提案する。
提案したFocused Adrial Invariant Regularizationフレームワークは、逆検定により回帰モデルを予測不変解へ向ける革新的なミニマックス最適化手法を利用する。
論文 参考訳（メタデータ） (2024-05-07T23:37:40Z) - Optimal Multitask Linear Regression and Contextual Bandits under Sparse Heterogeneity [41.772562538698395]
マルチタスク学習手法は、データセット間の共通性を活用することにより効率を向上する。
マルチタスク線形回帰と文脈帯域幅をスパースヘテロジニティ下で検討した。
提案手法は,多くの下界を提供することにより,最小限の最適化が可能であることを示す。
論文 参考訳（メタデータ） (2023-06-09T22:48:13Z) - Quantization for decentralized learning under subspace constraints [61.59416703323886]
エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。
本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。
この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
論文 参考訳（メタデータ） (2022-09-16T09:38:38Z) - Tractable and Near-Optimal Adversarial Algorithms for Robust Estimation
in Contaminated Gaussian Models [1.609950046042424]
ハマーの汚染されたガウスモデルの下での位置と分散行列の同時推定の問題を考える。
まず,非パラメトリック判別器を用いた生成逆数法に対応する最小$f$-divergence推定法について検討した。
ネスト最適化により実装可能な,単純なスプライン判別器を用いたトラクタブル逆数アルゴリズムを開発した。
提案手法は,$f$-divergenceと使用したペナルティに応じて,最小値の最適値またはほぼ最適値を達成する。
論文 参考訳（メタデータ） (2021-12-24T02:46:51Z) - Instance-optimality in optimal value estimation: Adaptivity via
variance-reduced Q-learning [99.34907092347733]
本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。
局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。
他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
論文 参考訳（メタデータ） (2021-06-28T00:38:54Z) - A conditional one-output likelihood formulation for multitask Gaussian
processes [0.0]
マルチタスクガウス過程(MTGP)は多出力回帰問題に対するガウスプロセスフレームワークの解である。
本稿では,マルチタスク学習を簡略化する新しい手法を提案する。
現状の美術品と計算的に競合していることが示される。
論文 参考訳（メタデータ） (2020-06-05T14:59:06Z) - Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable
Neural Distribution Alignment [52.02794488304448]
そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。
入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
論文 参考訳（メタデータ） (2020-03-26T22:10:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。