論文の概要: Simplifying Multi-Task Architectures Through Task-Specific Normalization

• arxiv url: http://arxiv.org/abs/2512.20420v1
• Date: Tue, 23 Dec 2025 15:02:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-24 19:17:49.915421
• Title: Simplifying Multi-Task Architectures Through Task-Specific Normalization
• Title（参考訳）: タスク特化正規化によるマルチタスクアーキテクチャの簡易化
• Authors: Mihai Suteu, Ovidiu Serban,
• Abstract要約: マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパラメータ効率を改善することを目的としている。 これらの課題の多くに対処するには、正規化層だけで十分であることを示す。 本稿では,タスクがネットワーク容量をソフトに割り当てることのできる軽量な機構であるタスク特化シグミドバッチ正規化(TS$BN)を提案する。
• 参考スコア（独自算出の注目度）: 0.9668407688201359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (MTL) aims to leverage shared knowledge across tasks to improve generalization and parameter efficiency, yet balancing resources and mitigating interference remain open challenges. Architectural solutions often introduce elaborate task-specific modules or routing schemes, increasing complexity and overhead. In this work, we show that normalization layers alone are sufficient to address many of these challenges. Simply replacing shared normalization with task-specific variants already yields competitive performance, questioning the need for complex designs. Building on this insight, we propose Task-Specific Sigmoid Batch Normalization (TS$σ$BN), a lightweight mechanism that enables tasks to softly allocate network capacity while fully sharing feature extractors. TS$σ$BN improves stability across CNNs and Transformers, matching or exceeding performance on NYUv2, Cityscapes, CelebA, and PascalContext, while remaining highly parameter-efficient. Moreover, its learned gates provide a natural framework for analyzing MTL dynamics, offering interpretable insights into capacity allocation, filter specialization, and task relationships. Our findings suggest that complex MTL architectures may be unnecessary and that task-specific normalization offers a simple, interpretable, and efficient alternative.
• Abstract（参考訳）: マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパラメータ効率を改善することを目的としている。 アーキテクチャソリューションは、しばしば複雑なタスク固有のモジュールやルーティングスキームを導入し、複雑さとオーバーヘッドを増大させる。 本研究では,これらの課題の多くに対処するには,正規化層だけで十分であることを示す。 共有正規化をタスク固有の変種に置き換えれば、複雑な設計の必要性に疑問を呈する競争性能が得られる。 この知見に基づいて,タスク特化シグミドバッチ正規化(TS$σ$BN)を提案する。 TS$σ$BNは、CNNとTransformer間の安定性を改善し、NYUv2、Cityscapes、CelebA、PascalContextのパフォーマンスをマッチングまたは超える。 さらに、学習ゲートは、MTLダイナミクスを解析するための自然なフレームワークを提供し、キャパシティアロケーション、フィルタ特殊化、タスク関係に関する解釈可能な洞察を提供する。 以上の結果から,複雑なMTLアーキテクチャは不要であり,タスク固有の正規化は単純で解釈可能で効率的な代替手段である可能性が示唆された。

関連論文リスト

• NTKMTL: Mitigating Task Imbalance in Multi-Task Learning from Neural Tangent Kernel Perspective [58.345210583013454]
  マルチタスク学習(MTL)は、1つのモデルで複数のタスクを同時に学習することを可能にする。 MTLにおけるタスクの不均衡は依然として大きな課題である。 NTKMTL という新しい MTL 法を提案し,MTL のトレーニングダイナミクスを解析する。
  論文  参考訳（メタデータ） (2025-10-21T03:29:40Z)
• EIFBENCH: Extremely Complex Instruction Following Benchmark for Large Language Models [64.70546873396624]
  大規模言語モデル(LLM)を評価するためのEIFBENCH(Extremely Complex Instruction following Benchmark)を提案する。 EIFBENCHにはマルチタスクシナリオが含まれており、多様なタスクタイプを同時に総合的に評価することができる。 また,LLMのマルチタスクワークフローを正確に満たす能力を高めるために,セグメントポリシー最適化(SegPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-10T02:39:55Z)
• AT-MoE: Adaptive Task-planning Mixture of Experts via LoRA Approach [0.6906005491572401]
  本稿では,Adaptive Task-planing Mixture of Experts(AT-MoE)アーキテクチャを紹介する。 まず、LoRAアプローチを用いてタスク固有の専門家を訓練し、専門分野における問題解決能力と解釈可能性を高める。 次に,複雑なタスク命令に基づくモジュール融合を最適化する階層適応型グループルーティングモジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-12T13:03:15Z)
• Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
  この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。 本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。 また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-01T07:06:57Z)
• InterroGate: Learning to Share, Specialize, and Prune Representations for Multi-task Learning [17.66308231838553]
  推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。 学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
  論文  参考訳（メタデータ） (2024-02-26T18:59:52Z)
• Task Aware Feature Extraction Framework for Sequential Dependence Multi-Task Learning [1.0765359420035392]
  我々は厳密な数学的観点から逐次依存型MLLを解析する。 逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-06T13:12:59Z)
• Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
  専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。 単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:52Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Controllable Dynamic Multi-Task Architectures [92.74372912009127]
  本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。 本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
  論文  参考訳（メタデータ） (2022-03-28T17:56:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。