論文の概要: Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis

• arxiv url: http://arxiv.org/abs/2406.07991v1
• Date: Wed, 12 Jun 2024 08:30:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 17:45:58.597889
• Title: Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis
• Title（参考訳）: Bias-Variance分析に基づくマルチタスク学習のための反復的ターゲット・フィーチャー・アグリゲーション
• Authors: Paolo Bonetti, Alberto Maria Metelli, Marcello Restelli,
• Abstract要約: マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
• 参考スコア（独自算出の注目度）: 53.38518232934096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task learning (MTL) is a powerful machine learning paradigm designed to leverage shared knowledge across tasks to improve generalization and performance. Previous works have proposed approaches to MTL that can be divided into feature learning, focused on the identification of a common feature representation, and task clustering, where similar tasks are grouped together. In this paper, we propose an MTL approach at the intersection between task clustering and feature transformation based on a two-phase iterative aggregation of targets and features. First, we propose a bias-variance analysis for regression models with additive Gaussian noise, where we provide a general expression of the asymptotic bias and variance of a task, considering a linear regression trained on aggregated input features and an aggregated target. Then, we exploit this analysis to provide a two-phase MTL algorithm (NonLinCTFA). Firstly, this method partitions the tasks into clusters and aggregates each obtained group of targets with their mean. Then, for each aggregated task, it aggregates subsets of features with their mean in a dimensionality reduction fashion. In both phases, a key aspect is to preserve the interpretability of the reduced targets and features through the aggregation with the mean, which is further motivated by applications to Earth science. Finally, we validate the algorithms on synthetic data, showing the effect of different parameters and real-world datasets, exploring the validity of the proposed methodology on classical datasets, recent baselines, and Earth science applications.
• Abstract（参考訳）: マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 従来の研究では、共通の特徴表現の識別に焦点をあてた特徴学習と、類似したタスクがグループ化されるタスククラスタリングに分割可能なMLLへのアプローチが提案されている。 本稿では,タスククラスタリングと特徴変換の交わりを目標と特徴の2段階反復集約に基づいて MTL アプローチを提案する。 まず,付加的なガウス雑音を伴う回帰モデルに対するバイアス分散分析を行い,集約された入力特徴と集約された目標に基づいて訓練された線形回帰を考慮した,漸近的バイアスとタスクの分散の一般表現を提案する。 次に,この解析を用いて2相MTLアルゴリズム(NonLinCTFA)を提案する。 第一に、この方法はタスクをクラスタに分割し、得られたターゲットのそれぞれを平均で集約する。 そして、各集約されたタスクに対して、その平均値で特徴のサブセットを次元還元形式で集約する。 両段階において、重要な側面は減った目標と特徴の解釈可能性を維持することであり、これは地球科学への応用によってさらに動機づけられる。 最後に,アルゴリズムを合成データ上で検証し,異なるパラメータと実世界のデータセットの効果を示し,提案手法が古典的データセット,最近のベースライン,地球科学への応用に有効であることを示す。

関連論文リスト

• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。 課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• Modeling Output-Level Task Relatedness in Multi-Task Learning with Feedback Mechanism [7.479892725446205]
  マルチタスク学習(MTL)は、異なるレベルで情報を共有することで複数のタスクを同時に学習するパラダイムである。 異なるタスクが相互に影響のある相関出力を生成する可能性があることを考慮し、後続情報をモデルに導入する。 我々は,MTLモデルにフィードバック機構を組み込むことで,あるタスクの出力が他のタスクの隠れ機能として機能する。
  論文  参考訳（メタデータ） (2024-04-01T03:27:34Z)
• Multi-Task Learning Regression via Convex Clustering [0.0]
  本稿では,タスクのクラスタ中心を表すセントロイドパラメータを用いたMTL手法を提案する。 モンテカルロシミュレーションによる提案手法の有効性と実データへの適用について述べる。
  論文  参考訳（メタデータ） (2023-04-26T07:25:21Z)
• Multi-Task Learning on Networks [0.0]
  マルチタスク学習コンテキストで発生する多目的最適化問題は、特定の特徴を持ち、アドホックな方法を必要とする。 この論文では、入力空間の解は、関数評価に含まれる知識をカプセル化した確率分布として表現される。 確率分布のこの空間では、ワッサーシュタイン距離によって与えられる計量が与えられ、モデルが目的関数に直接依存しないような新しいアルゴリズムMOEA/WSTを設計することができる。
  論文  参考訳（メタデータ） (2021-12-07T09:13:10Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Cluster-Specific Predictions with Multi-Task Gaussian Processes [4.368185344922342]
  マルチタスク学習、クラスタリング、予測を扱うために、ガウス過程(GP)を含むモデルを導入する。 このモデルは、マルチタスクGPと一般的な平均プロセスの混合としてインスタンス化される。 MagmaClustと呼ばれるアルゴリズムは、Rパッケージとして公開されている。
  論文  参考訳（メタデータ） (2020-11-16T11:08:59Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。