論文の概要: Late Fusion Multi-task Learning for Semiparametric Inference with Nuisance Parameters

• arxiv url: http://arxiv.org/abs/2507.07941v1
• Date: Thu, 10 Jul 2025 17:27:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.511743
• Title: Late Fusion Multi-task Learning for Semiparametric Inference with Nuisance Parameters
• Title（参考訳）: ニュアンスパラメータを用いた半パラメトリック推論のためのレイトフュージョンマルチタスク学習
• Authors: Sohom Bhattacharya, Yongzhuo Chen, Muxuan Liang,
• Abstract要約: 半パラメトリックモデルを用いたマルチタスク学習のための遅延融合フレームワークを提案する。 複数のデータソースにまたがる不均一な処理効果推定などの応用に着目する。 ニュアンスパラメータ推定のための新しいマルチタスク学習法を提案する。
• 参考スコア（独自算出の注目度）: 2.6217304977339473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the age of large and heterogeneous datasets, the integration of information from diverse sources is essential to improve parameter estimation. Multi-task learning offers a powerful approach by enabling simultaneous learning across related tasks. In this work, we introduce a late fusion framework for multi-task learning with semiparametric models that involve infinite-dimensional nuisance parameters, focusing on applications such as heterogeneous treatment effect estimation across multiple data sources, including electronic health records from different hospitals or clinical trial data. Our framework is two-step: first, initial double machine-learning estimators are obtained through individual task learning; second, these estimators are adaptively aggregated to exploit task similarities while remaining robust to task-specific differences. In particular, the framework avoids individual level data sharing, preserving privacy. Additionally, we propose a novel multi-task learning method for nuisance parameter estimation, which further enhances parameter estimation when nuisance parameters exhibit similarity across tasks. We establish theoretical guarantees for the method, demonstrating faster convergence rates compared to individual task learning when tasks share similar parametric components. Extensive simulations and real data applications complement the theoretical findings of our work while highlight the effectiveness of our framework even in moderate sample sizes.
• Abstract（参考訳）: 大規模で異質なデータセットの時代には、パラメータ推定を改善するために多様な情報源からの情報の統合が不可欠である。 マルチタスク学習は、関連するタスクを同時に学習することで、強力なアプローチを提供する。 本研究では,無次元ニュアンスパラメータを含む半パラメトリックモデルを用いたマルチタスク学習のための後期融合フレームワークを紹介し,病院の電子健康記録や臨床試験データなど,複数のデータソースにまたがる不均一な治療効果推定などの応用に焦点を当てた。 第1に、タスク固有の相違に頑健なままタスク類似性を利用するために、適応的にこれらの推定器を集約する。 特に、このフレームワークは個々のレベルのデータ共有を回避し、プライバシを保存する。 また,ニュアンスパラメータ推定のための新しいマルチタスク学習手法を提案し,ニュアンスパラメータがタスク間で類似性を示す場合のパラメータ推定をさらに強化する。 提案手法の理論的保証を確立し,タスクが類似したパラメトリックなコンポーネントを共有する場合の個々のタスク学習と比較して,収束率の速さを示す。 大規模なシミュレーションと実データ応用は、中程度のサンプルサイズであっても、我々のフレームワークの有効性を強調しながら、我々の研究の理論的発見を補完する。

関連論文リスト

• Parameter Efficient Merging for Multimodal Large Language Models with Complementary Parameter Adaptation [17.39117429338763]
  相補的パラメータ適応を用いたトレーニング不要なパラメータ効率的なマージ手法であるCoPA-Mergingを提案する。 多様なマルチモーダルタスクからなるベンチマークを構築し,本手法の卓越した性能と一般化性を証明する実験を行った。
  論文  参考訳（メタデータ） (2025-02-24T13:52:05Z)
• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning [79.07658065326592]
  推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。 タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。 本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-03T13:08:09Z)
• Multi-Task Learning with Summary Statistics [4.871473117968554]
  様々な情報源からの要約統計を利用した柔軟なマルチタスク学習フレームワークを提案する。 また,Lepskiの手法の変種に基づく適応パラメータ選択手法を提案する。 この研究は、さまざまな領域にわたる関連するモデルをトレーニングするための、より柔軟なツールを提供する。
  論文  参考訳（メタデータ） (2023-07-05T15:55:23Z)
• Task Difficulty Aware Parameter Allocation & Regularization for Lifelong Learning [20.177260510548535]
  本稿では,その学習困難度に基づいてパラメータ割り当てと正規化から各タスクに適した戦略を適応的に選択するAllocation & Regularization (PAR)を提案する。 提案手法はスケーラビリティが高く,モデルの冗長性を著しく低減し,モデルの性能を向上する。
  論文  参考訳（メタデータ） (2023-04-11T15:38:21Z)
• Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models [50.33956216274694]
  マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。 重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
  論文  参考訳（メタデータ） (2022-10-18T11:20:54Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Small Towers Make Big Differences [59.243296878666285]
  マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
  論文  参考訳（メタデータ） (2020-08-13T10:45:31Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。