論文の概要: SMART: A Spectral Transfer Approach to Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2604.20161v1
• Date: Wed, 22 Apr 2026 04:00:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:10.95851
• Title: SMART: A Spectral Transfer Approach to Multi-Task Learning
• Title（参考訳）: SMART:マルチタスク学習のためのスペクトル伝達アプローチ
• Abstract要約: マルチタスク学習は関連するアプリケーションに有効であるが,対象のサンプルサイズが小さい場合には性能が低下する可能性がある。 本稿では、音源部分空間間のスペクトル類似性を前提としたマルチタスク線形回帰のための特異特異部分空間を提案する。
• 参考スコア（独自算出の注目度）: 9.362937796676855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task learning is effective for related applications, but its performance can deteriorate when the target sample size is small. Transfer learning can borrow strength from related studies; yet, many existing methods rely on restrictive bounded-difference assumptions between the source and target models. We propose SMART, a spectral transfer method for multi-task linear regression that instead assumes spectral similarity: the target left and right singular subspaces lie within the corresponding source subspaces and are sparsely aligned with the source singular bases. Such an assumption is natural when studies share latent structures and enables transfer beyond the bounded-difference settings. SMART estimates the target coefficient matrix through structured regularization that incorporates spectral information from a source study. Importantly, it requires only a fitted source model rather than the raw source data, making it useful when data sharing is limited. Although the optimization problem is nonconvex, we develop a practical ADMM-based algorithm. We establish general, non-asymptotic error bounds and a minimax lower bound in the noiseless-source regime. Under additional regularity conditions, these results yield near-minimax Frobenius error rates up to logarithmic factors. Simulations confirm improved estimation accuracy and robustness to negative transfer, and analysis of multi-modal single-cell data demonstrates better predictive performance. The Python implementation of SMART, along with the code to reproduce all experiments in this paper, is publicly available at https://github.com/boxinz17/smart.
• Abstract（参考訳）: マルチタスク学習は関連するアプリケーションに有効であるが,対象のサンプルサイズが小さい場合には性能が低下する可能性がある。 伝達学習は、関連する研究から強みを借りることができるが、既存の多くの手法は、ソースモデルとターゲットモデルの間の制限的な有界差の仮定に依存している。 そこで我々は,マルチタスク線形回帰のスペクトル伝達法SMARTを提案する。これはスペクトル類似性を前提とし,対象特異部分空間と右特異部分空間を対応する部分空間内に配置する。 そのような仮定は、研究が潜在構造を共有し、有界差の設定を超える移動を可能にする場合に自然である。 SMARTは、ソーススタディからのスペクトル情報を含む構造化正規化により、ターゲット係数行列を推定する。 重要なのは、ソースデータではなく、適合したソースモデルのみを必要とするため、データ共有が制限されている場合に便利である。 最適化問題は非凸であるが,現実的なADMMに基づくアルゴリズムを開発した。 非漸近的誤差境界とノイズのない音源状態におけるミニマックス下限を定めている。 さらなる正則性条件の下では、これらの結果は対数係数まで、ほぼ最小のフロベニウス誤差率をもたらす。 シミュレーションにより推定精度が向上し, 負転移に対するロバスト性が向上し, マルチモーダル単一セルデータの解析により予測性能が向上した。 SMARTのPython実装は、すべての実験を再現するコードとともに、https://github.com/boxinz17/smart.comで公開されている。

関連論文リスト

• Multi-Source Complex Network Reconstruction via Wasserstein Distributionally Robust Optimization and Algorithm Unrolling [9.526111877241602]
  重み付きワッサーシュタインバリセンタを介して異種ソースを融合するグラフ学習フレームワークであるMS-WDROを提案する。 最悪の場合のリスクを最小限に抑えると、確実に収束したADMMスキームによって効率的に解決されるトラクタブル正規化ラプラシアン推定器が得られる。 MS-WDROは、グラフ回復、サンプル効率、下流診断ユーティリティにおいて、7つのベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-08-20T11:30:59Z)
• Federated Learning With L0 Constraint Via Probabilistic Gates For Sparsity [0.0]
  LearningNIST(FL)は、複数のクライアントがデータのプライバシを維持しながらモデルのトレーニングに協力する必要がある分散機械学習設定である。 データとモデルの本質的にの疎さは、過度に密集したモデルと、データとクライアントの参加の下での一般化性の低下をもたらすことが多い。 非ゼロパラメータの密度に対するL0制約付きFLを提案し、確率ゲートを用いた革命と連続緩和により達成する。
  論文  参考訳（メタデータ） (2025-12-28T20:33:22Z)
• Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
  MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。 本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
  論文  参考訳（メタデータ） (2025-01-15T04:09:21Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
  コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。 iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。 我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-08-08T17:56:20Z)
• Reinforcement Learning in Low-Rank MDPs with Density Features [12.932032416729774]
  低ランク遷移を持つMDPは、抽出可能な学習を可能にする非常に代表的な構造である。 本研究では, 密度特性を用いたサンプル効率学習, すなわち, 状態占有分布の強力なモデルを生成する正しい行列について検討する。
  論文  参考訳（メタデータ） (2023-02-04T22:46:28Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Unsupervised Ground Metric Learning using Wasserstein Eigenvectors [0.0]
  主なボトルネックは、研究対象のタスクに適応すべき「基礎」コストの設計である。 本論文では,コストを入力間のペアワイズOT距離にマッピングする関数の正の固有ベクトルとして,接地コストを計算することで,正の正の答えを初めて提案する。 また,主成分分析次元の低減を行うエントロピー正則化を用いたスケーラブルな計算手法を提案する。
  論文  参考訳（メタデータ） (2021-02-11T21:32:59Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。