論文の概要: Information-Theoretic Requirements for Gradient-Based Task Affinity Estimation in Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2604.07848v1
• Date: Thu, 09 Apr 2026 06:02:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.727857
• Title: Information-Theoretic Requirements for Gradient-Based Task Affinity Estimation in Multi-Task Learning
• Title（参考訳）: マルチタスク学習における逐次的タスク親和性推定のための情報理論的要件
• Authors: Jasper Zhang, Bryan Cheng,
• Abstract要約: マルチタスク学習は、非常に矛盾した結果を示している。 標準ベンチマークはこの要件を体系的に違反する。 これは、7年間の無矛盾なMLL結果に対する最初の原則的な説明を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task learning shows strikingly inconsistent results -- sometimes joint training helps substantially, sometimes it actively harms performance -- yet the field lacks a principled framework for predicting these outcomes. We identify a fundamental but unstated assumption underlying gradient-based task analysis: tasks must share training instances for gradient conflicts to reveal genuine relationships. When tasks are measured on the same inputs, gradient alignment reflects shared mechanistic structure; when measured on disjoint inputs, any apparent signal conflates task relationships with distributional shift. We discover this sample overlap requirement exhibits a sharp phase transition: below 30% overlap, gradient-task correlations are statistically indistinguishable from noise; above 40%, they reliably recover known biological structure. Comprehensive validation across multiple datasets achieves strong correlations and recovers biological pathway organization. Standard benchmarks systematically violate this requirement -- MoleculeNet operates at <5% overlap, TDC at 8-14% -- far below the threshold where gradient analysis becomes meaningful. This provides the first principled explanation for seven years of inconsistent MTL results.
• Abstract（参考訳）: マルチタスク学習は、非常に矛盾した結果を示します -- ジョイントトレーニングは、時にはパフォーマンスを著しく損なうこともありますが、これらの結果を予測するための原則的なフレームワークが欠如しています。 タスクは、真の関係を明らかにするために、勾配紛争のトレーニングインスタンスを共有する必要がある。 同じ入力でタスクが測定された場合、勾配アライメントは共有力学構造を反映する。 このサンプル重なり合い要求は、30%以上の重なり合い、勾配-タスク相関は統計的にノイズと区別できないこと、40%以上は既知の生物学的構造を確実に回復すること、といった急激な相転移を示す。 複数のデータセットにわたる包括的検証は強い相関を達成し、生物学的経路の組織を復元する。 標準ベンチマークは、この要件を体系的に違反する -- MoleculeNetは、5%オーバーラップで運用され、TDCは8-14%で、勾配分析が意味のあるしきい値よりはるかに低い。 これは、7年間の無矛盾なMLL結果に対する最初の原則的な説明を提供する。

関連論文リスト

• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• On Task Vectors and Gradients [24.021393654093103]
  タスクベクトルとタスク損失の勾配との接続を確立することにより、タスク演算の厳密な理論的基礎を提供する。 標準勾配勾配下では,1つの微調整のエポックから生成されたタスクベクトルは,学習速度によってスケールされた損失の負の勾配と正確に等価であることを示す。 7つの視覚ベンチマークによる経験的分析は、我々の理論を裏付け、最初のエポック勾配がノルムと方向の両方において微調整軌道を支配していることを示す。
  論文  参考訳（メタデータ） (2025-08-22T04:16:42Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• A Theoretical Analysis of Fine-tuning with Linear Teachers [31.849269592822296]
  ファインチューニングはディープラーニングにおいて一般的なプラクティスであり、比較的少ないトレーニングデータを使用して下流タスクで優れた結果を得ることができる。 微調整の成功は、ソースタスクと対象タスクの類似性に依存するが、測定は自明ではない。
  論文  参考訳（メタデータ） (2021-07-04T14:15:50Z)
• Precise High-Dimensional Asymptotics for Quantifying Heterogeneous Transfers [66.66228496844191]
  2つのタスクのサンプルを組み合わせることは、1つのタスクだけを学習するよりも、いつより優れているかを示す。 この問題は、実際には観測されている負転移と呼ばれる経験的な現象によって動機付けられている。 これらの結果をランダム効果モデルで説明し、ソースタスクのサンプル数が増加するにつれて、正から負への位相遷移を数学的に証明する。
  論文  参考訳（メタデータ） (2020-10-22T14:14:20Z)
• Robust Learning Through Cross-Task Consistency [92.42534246652062]
  クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。 クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
  論文  参考訳（メタデータ） (2020-06-07T09:24:33Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。