論文の概要: Multi-task Linear Regression without Eigenvalue Lower Bounds: Adaptivity, Robustness and Safety

• arxiv url: http://arxiv.org/abs/2605.17126v1
• Date: Sat, 16 May 2026 19:06:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.697131
• Title: Multi-task Linear Regression without Eigenvalue Lower Bounds: Adaptivity, Robustness and Safety
• Title（参考訳）: 固有値下界のないマルチタスク線形回帰:適応性、ロバスト性、安全性
• Authors: Seok-Jin Kim,
• Abstract要約: 汚染タスクの存在下でのマルチタスク線形回帰問題について検討する。 我々は、各タスクの第2モーメントと平均不整合幾何を比較し、バランス性定数によって定量化された相対的バランス性条件を導入する。 本手法は, タスク類似性, オフレイアに対するロバスト性, および良好な転送条件外における安全性の同時適応性を実現する。
• 参考スコア（独自算出の注目度）: 2.538209532048867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the multi-task linear regression problem in the presence of contaminated tasks. We address the setting where the unknown parameters of a majority of tasks are close in the $\ell_2$-norm, while a fraction of tasks are arbitrary outliers. Existing theoretical frameworks for this problem rely heavily on the assumption that the empirical second moment of each task has a minimum eigenvalue bounded away from zero (order $Ω(1)$). Crucially, this assumption fails in many high-dimensional scenarios, rendering prior guarantees vacuous. To overcome this limitation, we propose an estimator based on matrix-weighted norm regularization. We also introduce a relative balancedness condition, quantified by a balancedness constant, that compares each task's second moment with the average inlier geometry and relaxes the need for taskwise second-moment lower bounds. In favorable regimes with moderate balancedness, our prediction MSE bounds match the rate of Duan and Wang (2023) under substantially weaker spectral assumptions; the resulting task-overall MSE is minimax optimal up to logarithmic factors. Furthermore, we demonstrate that our estimator enjoys a safety guarantee: when the relevant balancedness constant is large or infinite, or when tasks are unrelated, the method performs no worse than independent task learning. Consequently, our methodology achieves simultaneous adaptivity to task similarity, robustness to outliers, and safety outside favorable transfer regimes.
• Abstract（参考訳）: 汚染タスクの存在下でのマルチタスク線形回帰問題について検討する。 タスクの大部分の未知パラメータが$\ell_2$-normに近く、タスクのごく一部が任意の外れ値であるような設定に対処する。 この問題の既存の理論的枠組みは、各タスクの経験的第二モーメントがゼロから離れた最小固有値を持つという仮定($Ω(1)$)に大きく依存している。 重要なことに、この仮定は多くの高次元シナリオで失敗し、事前の保証は空白である。 この制限を克服するために,行列重み付きノルム正規化に基づく推定器を提案する。 また,各タスクの2番目のモーメントを平均的不整形幾何と比較し,タスクワイズ2次下界の必要性を緩和する相対的バランス性条件も導入する。 適度なバランスのよい状態において、我々の予測MSE境界は、かなり弱いスペクトル仮定の下でDuanとWang(2023)の速度と一致し、結果のタスクオーバーオールMSEは対数係数まで極小に最適である。 さらに、我々の推定器は、関連するバランス性定数が大きければ、無限であり、タスクが無関係である場合には、独立したタスク学習よりも悪い結果が得られない、という安全保証を享受できることを実証する。 提案手法は,タスク類似性,アウトレーヤに対する堅牢性,および良好な転送体制外における安全性の同時適応性を実現する。

関連論文リスト

• In-Context Learning Is Provably Bayesian Inference: A Generalization Theory for Meta-Learning [51.56484100374058]
  本稿では,ICLリスクをベイズギャップとポストリアバリアンスの2つのコンポーネントに分割する基本的リスク分解を導入する。 一様アテンション変換器の場合、このギャップの非漸近上界を導出し、事前学習プロンプトの数への依存を明確にする。 後方変動は本質的なタスクの不確実性を表すモデルに依存しないリスクである。
  論文  参考訳（メタデータ） (2025-10-13T03:42:31Z)
• Fast Rate Bounds for Multi-Task and Meta-Learning with Different Sample Sizes [21.925083923451595]
  マルチタスクとメタ学習のための高速なPAC-Bayesian一般化バウンダリを提案する。 我々の新しい境界は数値計算可能であり、解釈可能である。 我々は、バランスの取れない状況が2つの意味のあるマルチタスクリスクの定義を可能にするという事実に光を当てた。
  論文  参考訳（メタデータ） (2025-05-21T13:22:07Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Robust Multi-Task Learning with Excess Risks [24.695243608197835]
  マルチタスク学習(MTL)は、全てのタスク損失の凸結合を最適化することにより、複数のタスクのジョイントモデルを学ぶことを検討する。 既存の方法は適応的な重み更新方式を用いており、各損失に基づいてタスク重みを動的に調整し、困難なタスクを優先順位付けする。 本稿では,過度リスクに基づくタスクバランス手法であるMulti-Task Learning with Excess Risks (ExcessMTL)を提案する。
  論文  参考訳（メタデータ） (2024-02-03T03:46:14Z)
• Noise Covariance Estimation in Multi-Task High-dimensional Linear Models [8.807375890824977]
  本稿では,タスク間のノイズが相関するマルチタスク高次元線形回帰モデルについて検討する。 回帰係数をニュアンスパラメータとして扱い、マルチタスク弾性ネットとマルチタスクラッソ推定器を用いてニュアンスを推定する。 適切な条件下では、提案した推定器は「おかしな」推定器と同じ収束率に達する。
  論文  参考訳（メタデータ） (2022-06-15T02:37:37Z)
• New Tight Relaxations of Rank Minimization for Multi-Task Learning [161.23314844751556]
  2つの正規化項に基づく2つの新しいマルチタスク学習定式化を提案する。 本手法は,タスク間で共有される低ランク構造を正確に復元し,関連するマルチタスク学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-09T07:29:57Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Precise High-Dimensional Asymptotics for Quantifying Heterogeneous Transfers [66.66228496844191]
  2つのタスクのサンプルを組み合わせることは、1つのタスクだけを学習するよりも、いつより優れているかを示す。 この問題は、実際には観測されている負転移と呼ばれる経験的な現象によって動機付けられている。 これらの結果をランダム効果モデルで説明し、ソースタスクのサンプル数が増加するにつれて、正から負への位相遷移を数学的に証明する。
  論文  参考訳（メタデータ） (2020-10-22T14:14:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。