論文の概要: SMART: A Spectral Transfer Approach to Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2604.20161v1
• Date: Wed, 22 Apr 2026 04:00:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:10.95851
• Title: SMART: A Spectral Transfer Approach to Multi-Task Learning
• Title（参考訳）: SMART:マルチタスク学習のためのスペクトル伝達アプローチ
• Authors: Boxin Zhao, Mladen Kolar, Jinchi Lv,
• Abstract要約: マルチタスク学習は関連するアプリケーションに有効であるが,対象のサンプルサイズが小さい場合には性能が低下する可能性がある。 本稿では、音源部分空間間のスペクトル類似性を前提としたマルチタスク線形回帰のための特異特異部分空間を提案する。
• 参考スコア（独自算出の注目度）: 9.362937796676855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task learning is effective for related applications, but its performance can deteriorate when the target sample size is small. Transfer learning can borrow strength from related studies; yet, many existing methods rely on restrictive bounded-difference assumptions between the source and target models. We propose SMART, a spectral transfer method for multi-task linear regression that instead assumes spectral similarity: the target left and right singular subspaces lie within the corresponding source subspaces and are sparsely aligned with the source singular bases. Such an assumption is natural when studies share latent structures and enables transfer beyond the bounded-difference settings. SMART estimates the target coefficient matrix through structured regularization that incorporates spectral information from a source study. Importantly, it requires only a fitted source model rather than the raw source data, making it useful when data sharing is limited. Although the optimization problem is nonconvex, we develop a practical ADMM-based algorithm. We establish general, non-asymptotic error bounds and a minimax lower bound in the noiseless-source regime. Under additional regularity conditions, these results yield near-minimax Frobenius error rates up to logarithmic factors. Simulations confirm improved estimation accuracy and robustness to negative transfer, and analysis of multi-modal single-cell data demonstrates better predictive performance. The Python implementation of SMART, along with the code to reproduce all experiments in this paper, is publicly available at https://github.com/boxinz17/smart.
• Abstract（参考訳）: マルチタスク学習は関連するアプリケーションに有効であるが,対象のサンプルサイズが小さい場合には性能が低下する可能性がある。 伝達学習は、関連する研究から強みを借りることができるが、既存の多くの手法は、ソースモデルとターゲットモデルの間の制限的な有界差の仮定に依存している。 そこで我々は,マルチタスク線形回帰のスペクトル伝達法SMARTを提案する。これはスペクトル類似性を前提とし,対象特異部分空間と右特異部分空間を対応する部分空間内に配置する。 そのような仮定は、研究が潜在構造を共有し、有界差の設定を超える移動を可能にする場合に自然である。 SMARTは、ソーススタディからのスペクトル情報を含む構造化正規化により、ターゲット係数行列を推定する。 重要なのは、ソースデータではなく、適合したソースモデルのみを必要とするため、データ共有が制限されている場合に便利である。 最適化問題は非凸であるが,現実的なADMMに基づくアルゴリズムを開発した。 非漸近的誤差境界とノイズのない音源状態におけるミニマックス下限を定めている。 さらなる正則性条件の下では、これらの結果は対数係数まで、ほぼ最小のフロベニウス誤差率をもたらす。 シミュレーションにより推定精度が向上し, 負転移に対するロバスト性が向上し, マルチモーダル単一セルデータの解析により予測性能が向上した。 SMARTのPython実装は、すべての実験を再現するコードとともに、https://github.com/boxinz17/smart.comで公開されている。

関連論文リスト

• Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
  MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。 本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
  論文  参考訳（メタデータ） (2025-01-15T04:09:21Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
  コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。 iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。 我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-08-08T17:56:20Z)
• Reinforcement Learning in Low-Rank MDPs with Density Features [12.932032416729774]
  低ランク遷移を持つMDPは、抽出可能な学習を可能にする非常に代表的な構造である。 本研究では, 密度特性を用いたサンプル効率学習, すなわち, 状態占有分布の強力なモデルを生成する正しい行列について検討する。
  論文  参考訳（メタデータ） (2023-02-04T22:46:28Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Unsupervised Ground Metric Learning using Wasserstein Eigenvectors [0.0]
  主なボトルネックは、研究対象のタスクに適応すべき「基礎」コストの設計である。 本論文では,コストを入力間のペアワイズOT距離にマッピングする関数の正の固有ベクトルとして,接地コストを計算することで,正の正の答えを初めて提案する。 また,主成分分析次元の低減を行うエントロピー正則化を用いたスケーラブルな計算手法を提案する。
  論文  参考訳（メタデータ） (2021-02-11T21:32:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。