論文の概要: Characterization of Transfer Using Multi-task Learning Curves

• arxiv url: http://arxiv.org/abs/2512.24866v1
• Date: Wed, 31 Dec 2025 13:55:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.669815
• Title: Characterization of Transfer Using Multi-task Learning Curves
• Title（参考訳）: マルチタスク学習曲線を用いた移動特性評価
• Authors: András Millinghoffer, Bence Bolgár, Péter Antal,
• Abstract要約: モデル更新勾配による摂動ではなく、より多くのサンプルを含むことでデータセットを摂動させることにより、転送効果の相補的でより基本的な特徴を与えることを示す。 我々は,多タスク学習曲線を用いた移動効果のモデル化を行い,様々なサンプルサイズに対して帰納的性能を近似した。 この結果から,学習曲線はマルチタスク学習の効果をよりよく捉えることができ,そのマルチタスク拡張は基礎モデルにおけるペアワイドおよびコンテキスト伝達効果を記述できることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer effects manifest themselves both during training using a fixed data set and in inductive inference using accumulating data. We hypothesize that perturbing the data set by including more samples, instead of perturbing the model by gradient updates, provides a complementary and more fundamental characterization of transfer effects. To capture this phenomenon, we quantitatively model transfer effects using multi-task learning curves approximating the inductive performance over varying sample sizes. We describe an efficient method to approximate multi-task learning curves analogous to the Task Affinity Grouping method applied during training. We compare the statistical and computational approaches to transfer, which indicates considerably higher compute costs for the previous but better power and broader applicability. Evaluations are performed using a benchmark drug-target interaction data set. Our results show that learning curves can better capture the effects of multi-task learning and their multi-task extensions can delineate pairwise and contextual transfer effects in foundation models.
• Abstract（参考訳）: トランスファーエフェクトは、固定データセットを使用したトレーニングと、累積データを用いたインダクティブ推論の両方で現れる。 我々は、より多くのサンプルを含むことでデータセットの摂動を仮定し、勾配の更新によってモデルを摂動するのではなく、転送効果の補足的でより基本的な特徴を与える。 この現象を捉えるために,多タスク学習曲線を用いて,様々なサンプルサイズに対して帰納的性能を近似し,伝達効果を定量的にモデル化する。 本稿では,訓練中に適用したタスク親和性グループ法に類似したマルチタスク学習曲線を近似する効率的な手法について述べる。 転送に対する統計的および計算的アプローチを比較すると、前よりもはるかに高い計算コストとより広い適用性を示す。 薬物・標的相互作用データセットのベンチマークを用いて評価を行う。 この結果から,学習曲線はマルチタスク学習の効果をよりよく捉えることができ,そのマルチタスク拡張は基礎モデルにおけるペアワイドおよびコンテキスト伝達効果を記述できることがわかった。

関連論文リスト

• Latent Traits and Cross-Task Transfer: Deconstructing Dataset Interactions in LLM Fine-tuning [8.082936847467638]
  本稿では,タスク間相互作用を識別するために,移動学習行列の構築と次元削減を行う分析フレームワークを提案する。 我々は、潜伏能力(例えば、Reasoning、Sentiment Classification、NLU、Arithmetic)を特定するための10のモデルを訓練し、分析し、伝達学習の副作用を発見する。
  論文  参考訳（メタデータ） (2025-09-17T01:45:42Z)
• Understanding Data Influence with Differential Approximation [63.817689230826595]
  我々は,Diff-Inと呼ばれる連続学習ステップ間の影響の差を蓄積することにより,サンプルの影響を近似する新しい定式化を導入する。 2次近似を用いることで、これらの差分項を高精度に近似し、既存の手法で必要となるモデル凸性を排除した。 Diff-In は既存の影響推定器に比べて近似誤差が著しく低いことを示す。
  論文  参考訳（メタデータ） (2025-08-20T11:59:32Z)
• Exploring Transfer Learning for Deep Learning Polyp Detection in Colonoscopy Images Using YOLOv8 [4.596575711979469]
  転送学習技術は、関連するデータセットの事前学習から知識を活用する。 事前トレーニングのための適切なデータセットを見つけることは、移行学習の成功を決定する上で重要な役割を果たす。 関連するデータセットで事前トレーニングされたモデルは、スクラッチからトレーニングされたモデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-01-31T19:33:45Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• Dissecting Representation Misalignment in Contrastive Learning via Influence Function [15.28417468377201]
  コントラスト損失に対する拡張影響関数 (ECIF) を導入し, コントラスト損失に対する影響関数について検討した。 ECIFは正と負の両方のサンプルを考慮し、対照的な学習モデルの閉形式近似を提供する。 我々はECIFに基づいて,データ評価,誤修正検出,誤予測トレースバックタスクのための一連のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-18T15:45:41Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• Intra-domain and cross-domain transfer learning for time series data -- How transferable are the features? [0.0]
  本研究の目的は,時系列データの異なる領域間において,転送可能がどのような特徴を持つかを評価することである。 伝達学習の効果は,モデルの予測性能と学習時の収束率の観点から観察される。
  論文  参考訳（メタデータ） (2022-01-12T12:55:21Z)
• Multi-Stage Influence Function [97.19210942277354]
  我々は、事前学習データまで遡って、微調整されたモデルから予測を追跡するための多段階影響関数スコアを開発する。 本研究は,2つのシナリオについて検討し,事前訓練した埋め込みを微調整タスクで固定または更新する。
  論文  参考訳（メタデータ） (2020-07-17T16:03:11Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。