論文の概要: Capacity and Redundancy Trade-offs in Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2607.16554v1
- Date: Fri, 17 Jul 2026 23:31:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.180682
- Title: Capacity and Redundancy Trade-offs in Multi-Task Learning
- Title（参考訳）: マルチタスク学習における能力と冗長性のトレードオフ
- Abstract要約: マルチタスク学習(MTL)では、負の転送は最適化アーティファクトと見なされることが多いが、タスク冗長性の弱い結果と見なすこともできる。
本研究では,タスクごとの予測情報の総和を共同予測情報に分解するキャパシティ・冗長性(CR)IDを用いて,この効果について検討する。
i) クラスタ化共有に必要かつ十分な条件を与えるクラスタリングギャップ分解と,(ii) ガウスマルチタスクモデルにおける勾配コサイン類似性をプロキシとして正式に正当化する勾配-TCブリッジの2つの重要な結果を示す。
- 参考スコア（独自算出の注目度）: 0.9258421435949676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In multi-task learning (MTL) negative transfer is often considered as an optimization artifact, but it can also be viewed as a consequence of limited shared capacity and weak task redundancy. We investigate this effect through a Capacity--Redundancy (CR) identity that decomposes the sum of per-task predictive informations into joint predictive information that includes label redundancy defined via total correlation (TC), and a residual coupling term that quantifies interference left unresolved by the shared representation. Additionally, we show two key results: (i) a clustering-gap decomposition that gives a necessary and sufficient condition for clustered sharing to outperform global sharing, and (ii) a gradient--TC bridge in a Gaussian multi-task model that formally justifies gradient cosine similarity as a proxy for redundancy ordering. Empirically, we estimate the residual coupling $Δ$ from validation residual correlations, showing that clustered LoRA substantially reduces $\widehatΔ$, outperforms size-matched random partitions, and results in statistically significant gains with multi-seed confidence intervals.
- Abstract（参考訳）: マルチタスク学習(MTL)では、負の転送は最適化アーティファクトと見なされることが多いが、共有能力の制限とタスク冗長性の弱い結果と見なすこともできる。
本稿では,全相関(TC)によって定義されたラベル冗長性を含む共同予測情報と,共有表現によって未解決な干渉を定量化する結合項に,タスクごとの予測情報の総和を分解する能力-冗長性(CR)IDを用いて,この効果について検討する。
さらに2つの重要な結果を示す。
一 クラスタ化共有がグローバル共有を上回るために必要な、かつ十分な条件を与えるクラスタリングギャップ分解
(II) 勾配コサイン類似性を正規化したガウスマルチタスクモデルにおける勾配-TCブリッジを冗長順序付けのプロキシとして用いる。
検証残差相関から残差結合$Δ$を推定したところ、クラスタ化されたLoRAは$\widehatΔ$を著しく低減し、サイズマッチングされたランダムパーティションよりも優れ、マルチシードの信頼区間で統計的に有意な利得が得られることがわかった。
関連論文リスト
- RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities [34.35941675436447]
RePercENTは、2つのモダリティを超えて、スケーラブルなペアワイズ・アンタングルをアンロックするように設計された、自己管理型のフレームワークである。
提案手法は, 事前抽出した埋め込みを直接操作し, 広範囲なジョイント・プレトレーニングの必要性を解消する。
さまざまなモダリティやタスクにわたって、RePercENTは、競合性能を維持しながら、アンタングルされたコンポーネントの回復に成功した。
論文 参考訳（メタデータ） (2026-06-03T17:10:39Z) - Disentangling Shared and Task-Specific Representations from Multi-Modal Clinical Data [8.493390194430592]
患者表現を共有部分空間とタスク固有の部分空間に分割するマルチモーダル融合のための統合トランスフォーマー上に構築されたマルチタスクフレームワークを提案する。
手術患者12,430名を対象にOrthTDを実世界のコホートで評価し,4つの結果が得られた。
論文 参考訳（メタデータ） (2026-05-05T09:41:36Z) - Group Cognition Learning: Making Everything Better Through Governed Two-Stage Agents Collaboration [13.299987551113809]
グループ認知学習(グループ認知学習、Group Cognition Learning、GCL)は、モダリティ固有の符号化の後に2段階のプロトコルを適用する、管理された協調パラダイムである。
GCLはモダリティの優位性と結合を緩和し、回帰ベンチマークと分類ベンチマークの両方で最先端の結果を確立する。
論文 参考訳（メタデータ） (2026-05-01T03:19:34Z) - Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。
CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
論文 参考訳（メタデータ） (2026-01-06T16:26:40Z) - Evaluating the Efficiency of Latent Spaces via the Coupling-Matrix [0.5013248430919224]
本稿では,次元間の依存関係を直接定量化する冗長指数rho(C)を導入する。
低rho(C)は高い分類精度または低い再構成誤差を確実に予測する一方、高い冗長性は性能崩壊と関連付けられる。
木構造型Parzen Estimator (TPE) は低ロー領域を優先的に探索し,rho(C) がニューラルアーキテクチャ探索を誘導し,冗長性を考慮した正規化ターゲットとして機能することを示唆する。
論文 参考訳（メタデータ） (2025-09-08T03:36:47Z) - Covariance-corrected Whitening Alleviates Network Degeneration on Imbalanced Classification [6.197116272789107]
クラス不均衡は画像分類において重要な問題であり、深層認識モデルの性能に大きな影響を及ぼす。
我々は、退化ソリューションを緩和するWhitening-Netと呼ばれる新しいフレームワークを提案する。
極端なクラス不均衡のシナリオでは、バッチ共分散統計は大きな変動を示し、白化操作の収束を妨げる。
論文 参考訳（メタデータ） (2024-08-30T10:49:33Z) - Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。
統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
論文 参考訳（メタデータ） (2024-08-25T04:07:18Z) - Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised Visible-Infrared Person ReID [56.573905143954015]
本稿では, クラスタ間マッチングによるモダリティギャップを低減するための, クラスタマッチングに基づく新たな学習フレームワークを提案する。
このような監視信号の下では、クラスタレベルで特徴を協調的に整列させるために、モダリティ・特定・モダリティ・非依存(MSMA)コントラスト学習フレームワークが提案されている。
公開SYSU-MM01とRegDBデータセットの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-05-22T03:27:46Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳（メタデータ） (2021-12-07T01:23:20Z) - Unpaired Adversarial Learning for Single Image Deraining with Rain-Space
Contrastive Constraints [61.40893559933964]
我々は,CDR-GAN という名称の GAN フレームワークにおいて,比較学習手法により,経験者の相互特性を探索する有効な非経験的 SID 手法を開発した。
提案手法は, 合成および実世界の両方のデータセットにおいて, 既存の非対効果のデラミニング手法に対して良好に動作し, 完全教師付きモデルや半教師付きモデルよりも優れている。
論文 参考訳（メタデータ） (2021-09-07T10:00:45Z) - Multi-task Over-the-Air Federated Learning: A Non-Orthogonal
Transmission Approach [52.85647632037537]
複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。
収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
論文 参考訳（メタデータ） (2021-06-27T13:09:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。