論文の概要: Multi-Task Learning with Summary Statistics

• arxiv url: http://arxiv.org/abs/2307.02388v1
• Date: Wed, 5 Jul 2023 15:55:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 13:05:44.079334
• Title: Multi-Task Learning with Summary Statistics
• Title（参考訳）: 概要統計を用いたマルチタスク学習
• Authors: Parker Knight, Rui Duan
• Abstract要約: 様々な情報源からの要約統計を利用した柔軟なマルチタスク学習フレームワークを提案する。 また,Lepskiの手法の変種に基づく適応パラメータ選択手法を提案する。 この研究は、さまざまな領域にわたる関連するモデルをトレーニングするための、より柔軟なツールを提供する。
• 参考スコア（独自算出の注目度）: 4.831641815444012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task learning has emerged as a powerful machine learning paradigm for integrating data from multiple sources, leveraging similarities between tasks to improve overall model performance. However, the application of multi-task learning to real-world settings is hindered by data-sharing constraints, especially in healthcare settings. To address this challenge, we propose a flexible multi-task learning framework utilizing summary statistics from various sources. Additionally, we present an adaptive parameter selection approach based on a variant of Lepski's method, allowing for data-driven tuning parameter selection when only summary statistics are available. Our systematic non-asymptotic analysis characterizes the performance of the proposed methods under various regimes of the sample complexity and overlap. We demonstrate our theoretical findings and the performance of the method through extensive simulations. This work offers a more flexible tool for training related models across various domains, with practical implications in genetic risk prediction and many other fields.
• Abstract（参考訳）: マルチタスク学習は、複数のソースからのデータを統合する強力な機械学習パラダイムとして登場し、全体的なモデルパフォーマンスを改善するためにタスク間の類似性を活用する。 しかし、マルチタスク学習を現実世界の設定に適用することは、データ共有の制約によって妨げられている。 この課題に対処するために,様々な情報源の要約統計を利用した柔軟なマルチタスク学習フレームワークを提案する。 さらに,lepski法の変種に基づく適応パラメータ選択手法を提案し,要約統計のみ利用可能な場合のデータ駆動チューニングパラメータ選択を可能にした。 系統的非漸近解析は,提案手法の性能を,サンプルの複雑さと重なりの様々な条件下で特徴付ける。 提案手法の理論的知見と性能を広範囲なシミュレーションにより実証する。 この研究は、遺伝的リスクの予測やその他の多くの分野において実用的な意味を持つ、様々なドメインにわたって関連するモデルをトレーニングするための、より柔軟なツールを提供する。

関連論文リスト

• Analysing Multi-Task Regression via Random Matrix Theory with Application to Time Series Forecasting [16.640336442849282]
  我々は,マルチタスク最適化問題を正規化手法として定式化し,マルチタスク学習情報を活用することを可能とする。 線形モデルの文脈におけるマルチタスク最適化のための閉形式解を導出する。
  論文  参考訳（メタデータ） (2024-06-14T17:59:25Z)
• Federated Multi-Task Learning on Non-IID Data Silos: An Experimental Study [17.555311732095483]
  FMTLアプローチは、フェデレートラーニング(FL)とマルチタスクラーニング(MTL)の利点を統合する 本稿では,FMTLパラダイムの体系的評価のための新しいフレームワークFMTL-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-02-20T10:13:44Z)
• Order Matters in the Presence of Dataset Imbalance for Multilingual Learning [53.74649778447903]
  本稿では,高リソースタスクの事前学習をシンプルかつ効果的に行う方法と,高リソースタスクと低リソースタスクの混合による微調整について述べる。 ニューラルネットワーク翻訳(NMT)と多言語言語モデリングの改善について述べる。
  論文  参考訳（メタデータ） (2023-12-11T05:46:57Z)
• MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
  数学領域における推論は、小言語モデル(LM)にとって重要な課題である。 多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。 実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-16T05:41:53Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• Multi-model Ensemble Learning Method for Human Expression Recognition [31.76775306959038]
  本研究では,大量の実生活データを収集するアンサンブル学習法に基づく手法を提案する。 ABAW2022 ChallengeのAffWild2データセット上で多くの実験を行い、本ソリューションの有効性を実証した。
  論文  参考訳（メタデータ） (2022-03-28T03:15:06Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Adaptive and Robust Multi-Task Learning [8.883733362171036]
  異なるソースから収集した複数のデータセットを同時に解析することを目的としたマルチタスク学習問題について検討する。 本稿では,それらのタスク間の類似性を自動で活用する適応手法のファミリーを提案する。 我々は,これらの手法の統計的保証を鋭く導き,その頑健さを不利なタスクに対して証明する。
  論文  参考訳（メタデータ） (2022-02-10T18:55:58Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• StackGenVis: Alignment of Data, Algorithms, and Models for Stacking Ensemble Learning Using Performance Metrics [4.237343083490243]
  機械学習(ML)では、バッグング、ブースティング、スタックングといったアンサンブル手法が広く確立されている。 StackGenVisは、スタック化された一般化のためのビジュアル分析システムである。
  論文  参考訳（メタデータ） (2020-05-04T15:43:55Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。