論文の概要: CORE-MTL: Rethinking Gradient Balancing via Causal Orthogonal Representations

• arxiv url: http://arxiv.org/abs/2606.02221v1
• Date: Mon, 01 Jun 2026 13:20:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:32.097348
• Title: CORE-MTL: Rethinking Gradient Balancing via Causal Orthogonal Representations
• Title（参考訳）: CORE-MTL:Causal Orthogonal Representationによるグラディエント・バランシングの再考
• Authors: Chengfeng Wu, Tao Zou, Yanru Wu, Jingge Wang,
• Abstract要約: マルチタスク学習(MTL)は、ドメイン間で共通の表現を共有することで、複数のタスクのジョイントモデルを構築することを目的としている。 本稿では,タスク関連構造を素早い文脈から切り離すために,マルチタスク学習のための因果直交表現(CORE-MTL)を提案する。 CORE-MTLは、ディストリビューションおよびアウト・オブ・ディストリビューション設定の両方において、ビジュアルマルチタスクベンチマークの既存の手法よりも一貫して優れている。
• 参考スコア（独自算出の注目度）: 4.376075319720958
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task learning (MTL) aims to construct a joint model for multiple tasks by sharing a common representation across domains. To achieve this goal, existing optimization-centric methods either balance task gradients or modify the shared architecture. However, as these approaches remain agnostic to the content of the shared representation, they fail to disentangle task-relevant structure from spurious context, leading to negative transfer and poor generalization. To overcome this limitation, we propose Causal Orthogonal Representations for Multi-Task Learning (CORE-MTL), a causally motivated representation-centric framework that encourages a structured semantic-residual factorization of the shared representation, concentrating task-relevant structure in the semantic stream while relegating nuisance variation to the residual stream. We instantiate this framework in the visual domain by leveraging physical priors for structured scenes and statistical constraints for attributes. Theoretically, our method enjoys a tighter out-of-distribution generalization bound than optimization-centric methods and reduces task gradient interference without explicit gradient projection or reweighting. Empirically, CORE-MTL consistently outperforms existing methods on visual multi-task benchmarks in both in-distribution and out-of-distribution settings. Code is publicly available at https://github.com/Hope-Rita/CORE-MTL.
• Abstract（参考訳）: マルチタスク学習(MTL)は、ドメイン間で共通の表現を共有することで、複数のタスクのジョイントモデルを構築することを目的としている。 この目標を達成するために、既存の最適化中心のメソッドはタスク勾配のバランスをとるか、共有アーキテクチャを変更するかのいずれかである。 しかし、これらのアプローチは共有表現の内容に従わないため、素早い文脈からタスク関連構造を解き放つことができず、負の移動や一般化が不十分になる。 この制限を克服するため,マルチタスク学習のためのコーサル直交表現(CORE-MTL)を提案する。これは因果的に動機づけられた表現中心のフレームワークであり,共有表現の構造的意味論的因果分解を促進する。 我々は、このフレームワークを視覚領域でインスタンス化し、構造化シーンの物理的事前と属性の統計的制約を活用する。 理論的には、最適化中心法よりも分布外一般化がより厳密であり、明示的な勾配投影や再重み付けを伴わずにタスク勾配干渉を低減する。 CORE-MTLは、分布内および分布外設定の両方において、視覚マルチタスクベンチマークの既存の手法を一貫して上回っている。 コードはhttps://github.com/Hope-Rita/CORE-MTLで公開されている。

関連論文リスト

• PivotMerge: Bridging Heterogeneous Multimodal Pre-training via Post-Alignment Model Merging [80.17966517536102]
  マルチモーダル大規模言語モデルの事前学習の核心は、効果的なクロスモーダルアライメントの確立にあると論じる。 この知見に触発されて,マルチモーダル事前学習から学んだクロスモーダルアライメント機能を統合することを目的とした,アライメント後のマージタスクを導入する。 クロスモーダルプロジェクタのためのアライメント後マージフレームワークであるPivotMergeを提案する。
  論文  参考訳（メタデータ） (2026-04-18T09:38:03Z)
• Multimodal Structure Learning: Disentangling Shared and Specific Topology via Cross-Modal Graphical Lasso [12.238577096609761]
  解釈可能なマルチモーダル表現を学習するためのCross-Modal Graphical Lasso(CM-GLasso)を提案する。 新たなテキスト視覚化戦略と統合された視覚言語エンコーダを結合することにより、マルチモーダルな特徴を共有潜在空間に厳密に整列する。 CM-GLassoは、生成的分類と密接なセマンティックセグメンテーションタスクにおいて、新しい最先端技術を確立していることを示す。
  論文  参考訳（メタデータ） (2026-04-05T04:07:59Z)
• Fine-tuning MLLMs Without Forgetting Is Easier Than You Think [72.59321247529975]
  分布内および分布外画像およびテキスト入力のモデル性能を評価するための2x2実験フレームワークを設計する。 その結果、トレーニング可能なパラメータの数を制限したり、低学習率を採用するなど、適切な正規化が、アウト・オブ・ディストリビューション・イメージを扱う際の忘れを効果的に防止できることが示唆された。 我々は、このことをタスク固有のオーバーフィッティングとみなし、データハイブリッドトレーニング戦略を導入することでこの問題に対処する。
  論文  参考訳（メタデータ） (2026-03-15T17:16:19Z)
• Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness [16.541207762213272]
  視覚変換器(ViT)は、しばしば急激な相関に依存するため、分布シフトによって劣化する。 概念レベルのセマンティクスに対する推論をモデル化する,新たなファインタニングフレームワークを提案する。 提案手法は,複数のViTモデル間のロバスト性を向上する。
  論文  参考訳（メタデータ） (2026-03-09T12:31:14Z)
• Reasoning-Driven Multimodal LLM for Domain Generalization [72.00754603114187]
  DomainBed-Reasoning データセットを用いた領域一般化における推論の役割について検討する。 MTCT(Multi-Task Cross-Training)とSARR(Self-Aligned Reasoning Regularization)の2つのコンポーネントからなるフレームワークであるRD-MLDGを提案する。 標準のDomainBedデータセットの実験は、RD-MLDGが補完的な最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2026-02-27T08:10:06Z)
• Beyond Unimodal Shortcuts: MLLMs as Cross-Modal Reasoners for Grounded Named Entity Recognition [51.68340973140949]
  GMNER(Multimodal Named Entity Recognition)は、テキストベースのエンティティを抽出し、セマンティックカテゴリを割り当て、それらを対応する視覚領域に接地することを目的としている。 MLLMは、視覚バイアスやテキストバイアスを含む$textbfmodality bias$を示す。 本稿では,モダリティを考慮した一貫性推論(bfMCR$)を提案する。
  論文  参考訳（メタデータ） (2026-02-04T12:12:49Z)
• Masked Feature Modeling Enhances Adaptive Segmentation [9.279607578922683]
  Masked Feature Modeling (MFM) は機能マスキングと再構成を行う新しい補助タスクである。 MFMは学習目標をメインセグメンテーションタスクと整合させ、DeepLabやDAFormerといった標準アーキテクチャとの互換性を確保する。 効率的な再構築を容易にするために,推論時に共同で訓練されるが破棄される軽量補助モジュールであるRebuilderを導入する。
  論文  参考訳（メタデータ） (2025-09-17T08:16:05Z)
• LIFT: Latent Implicit Functions for Task- and Data-Agnostic Encoding [4.759109475818876]
  Implicit Neural Representations (INR)は、多様なデータドメインをまたいだタスクモデリングを統合するための強力なパラダイムであることが証明されている。 本稿では,メタラーニングによるマルチスケール情報をキャプチャする新しい高性能フレームワークLIFTを紹介する。 また、残差接続と表現頻度符号化を組み込んだLIFTの強化版であるReLIFTについても紹介する。
  論文  参考訳（メタデータ） (2025-03-19T17:00:58Z)
• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。