論文の概要: Measuring Fine-Grained Relatedness in Multitask Learning via Data Attribution

• arxiv url: http://arxiv.org/abs/2505.21438v1
• Date: Tue, 27 May 2025 17:13:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.819288
• Title: Measuring Fine-Grained Relatedness in Multitask Learning via Data Attribution
• Title（参考訳）: データ属性を用いたマルチタスク学習における微粒化関連性の測定
• Authors: Yiwen Tu, Ziqi Liu, Jiaqi W. Ma, Weijing Tang,
• Abstract要約: タスク関連性の測定と負の移動の軽減は、マルチタスク学習における重要なオープンチャレンジである。 本稿では,MultiTask Influence Function (MTIF) を提案する。 我々の研究は、データ属性とMLLの新たな接続を確立し、タスク関連性を測定するための効率的できめ細かいソリューションを提供する。
• 参考スコア（独自算出の注目度）: 10.818917537653688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Measuring task relatedness and mitigating negative transfer remain a critical open challenge in Multitask Learning (MTL). This work extends data attribution -- which quantifies the influence of individual training data points on model predictions -- to MTL setting for measuring task relatedness. We propose the MultiTask Influence Function (MTIF), a method that adapts influence functions to MTL models with hard or soft parameter sharing. Compared to conventional task relatedness measurements, MTIF provides a fine-grained, instance-level relatedness measure beyond the entire-task level. This fine-grained relatedness measure enables a data selection strategy to effectively mitigate negative transfer in MTL. Through extensive experiments, we demonstrate that the proposed MTIF efficiently and accurately approximates the performance of models trained on data subsets. Moreover, the data selection strategy enabled by MTIF consistently improves model performance in MTL. Our work establishes a novel connection between data attribution and MTL, offering an efficient and fine-grained solution for measuring task relatedness and enhancing MTL models.
• Abstract（参考訳）: MTL(Multitask Learning)では,タスク関連性の測定と負の伝達の軽減が重要な課題である。 この研究は、個々のトレーニングデータポイントがモデル予測に与える影響を定量化するデータ属性を、タスク関連性を測定するためのMTL設定に拡張する。 本稿では,MultiTask Influence Function (MTIF) を提案する。 従来のタスク関連度測定と比較すると、MTIFは全タスクレベルを超えた、きめ細かいインスタンスレベルの関連度測定を提供する。 この微粒化関連度測定により、データ選択戦略により、MTLにおける負の転送を効果的に軽減することができる。 広範囲な実験により,提案したMTIFは,データサブセットに基づいて訓練されたモデルの性能を効率よく,正確に近似することを示した。 さらに、MTIFによって実現されたデータ選択戦略は、MTLにおけるモデル性能を一貫して改善する。 我々の研究は、データ属性とMLLの新たな接続を確立し、タスク関連性の測定とMTLモデルの強化のための効率的できめ細かいソリューションを提供する。

関連論文リスト

• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• R-MTLLMF: Resilient Multi-Task Large Language Model Fusion at the Wireless Edge [78.26352952957909]
  マルチタスク大言語モデル(MTLLM)は、ユーザが複数のタスクを効率的に処理するための特殊なモデルを要求する無線エッジにおける多くのアプリケーションにとって重要である。 タスクベクトルによるモデル融合の概念は、MDLLMを生成するための微調整パラメータを組み合わせるための効率的なアプローチとして登場した。 本稿では,最悪の逆攻撃を前提として,エッジユーザがタスクベクトルを介して協調的にMTLMを作成できる問題について検討する。
  論文  参考訳（メタデータ） (2024-11-27T10:57:06Z)
• MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
  textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。 提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
  論文  参考訳（メタデータ） (2024-06-17T10:12:45Z)
• MTLComb: multi-task learning combining regression and classification tasks for joint feature selection [3.708475728683911]
  マルチタスク学習(Multi-task learning、MTL)は、複数の通信アルゴリズムの同時学習を可能にする学習パラダイムである。 本稿では、回帰と分類タスクのバランスをとるための最適な重み付けを解析的に決定する、証明可能な損失重み付け手法を提案する。 MTLアルゴリズムとソフトウェアパッケージであるMTLCombを導入し、最適化手順、トレーニングプロトコル、ハイパーパラメータ推定手順を紹介する。
  論文  参考訳（メタデータ） (2024-05-16T08:07:25Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Learning Functions to Study the Benefit of Multitask Learning [25.325601027501836]
  我々は,シーケンスラベリングタスクのためのマルチタスク学習(MTL)モデルの一般化パターンを研究・定量化する。 マルチタスク学習はいくつかの問題において改善されたパフォーマンスを実現しているが、同時にトレーニングするとパフォーマンスが低下するタスクもある。
  論文  参考訳（メタデータ） (2020-06-09T23:51:32Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。