Fugu-MT 論文翻訳(概要): InterroGate: Learning to Share, Specialize, and Prune Representations for Multi-task Learning

論文の概要: InterroGate: Learning to Share, Specialize, and Prune Representations for Multi-task Learning

arxiv url: http://arxiv.org/abs/2402.16848v1
Date: Mon, 26 Feb 2024 18:59:52 GMT
ステータス: 処理完了
システム内更新日: 2024-02-28 19:21:45.165560
Title: InterroGate: Learning to Share, Specialize, and Prune Representations for Multi-task Learning
Title（参考訳）: InterroGate:マルチタスク学習のための共有、専門化、プーン表現の学習
Authors: Babak Ehteshami Bejnordi, Gaurav Kumar, Amelie Royer, Christos Louizos, Tijmen Blankevoort, Mohsen Ghafoorian
Abstract要約: 推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
参考スコア（独自算出の注目度）: 17.66308231838553
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Jointly learning multiple tasks with a unified model can improve accuracy and data efficiency, but it faces the challenge of task interference, where optimizing one task objective may inadvertently compromise the performance of another. A solution to mitigate this issue is to allocate task-specific parameters, free from interference, on top of shared features. However, manually designing such architectures is cumbersome, as practitioners need to balance between the overall performance across all tasks and the higher computational cost induced by the newly added parameters. In this work, we propose \textit{InterroGate}, a novel multi-task learning (MTL) architecture designed to mitigate task interference while optimizing inference computational efficiency. We employ a learnable gating mechanism to automatically balance the shared and task-specific representations while preserving the performance of all tasks. Crucially, the patterns of parameter sharing and specialization dynamically learned during training, become fixed at inference, resulting in a static, optimized MTL architecture. Through extensive empirical evaluations, we demonstrate SoTA results on three MTL benchmarks using convolutional as well as transformer-based backbones on CelebA, NYUD-v2, and PASCAL-Context.
Abstract（参考訳）: 統一されたモデルで複数のタスクを共同学習することで精度とデータの効率が向上するが、あるタスクの目的を最適化することが、他のタスクのパフォーマンスを意図的に損なうという課題に直面している。この問題を軽減する解決策は、共有機能の上に、干渉のないタスク固有のパラメータを割り当てることである。しかし、これらのアーキテクチャを手動で設計するのは面倒で、実践者はすべてのタスク全体のパフォーマンスと、新しく追加されたパラメータによって引き起こされる計算コストのバランスをとる必要がある。本研究では,タスク干渉を軽減し,推論計算効率を最適化する新しいマルチタスク学習(MTL)アーキテクチャである「textit{InterroGate}」を提案する。学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。重要なことに、パラメータ共有と特殊化のパターンはトレーニング中に動的に学習され、推論時に固定され、静的に最適化されたMTLアーキテクチャとなる。本研究では,CelebA,NYUD-v2,PASCAL-Contextのコンボリューショナルおよびトランスフォーマーベースバックボーンを用いた3つのMTLベンチマークのSoTA結果を示す。

関連論文リスト

Cross-Task Affinity Learning for Multitask Dense Scene Predictions [5.939164722752263]
マルチタスク学習(MTL)は,複数のタスクを同時に予測する能力で注目されている。マルチタスクネットワークにおけるタスク改善を強化する軽量フレームワークであるクロスタスク親和性学習(CTAL)モジュールを紹介する。以上の結果から,CNNとトランスフォーマーの両バックボーンに対して,シングルタスク学習よりもはるかに少ないパラメータを用いて,最先端のMTL性能を実証した。
論文参考訳（メタデータ） (2024-01-20T05:31:47Z)
Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
論文参考訳（メタデータ） (2023-09-21T14:00:11Z)
Task Aware Feature Extraction Framework for Sequential Dependence Multi-Task Learning [1.0765359420035392]
我々は厳密な数学的観点から逐次依存型MLLを解析する。逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
論文参考訳（メタデータ） (2023-01-06T13:12:59Z)
AdaTask: A Task-aware Adaptive Learning Rate Approach to Multi-task Learning [19.201899503691266]
このパラメータ上の各タスクの総更新によって、パラメータのタスク支配度を測定する。本稿では,各タスクの強調勾配と学習率を分離するタスクワイド適応学習率アプローチであるAdaTaskを提案する。コンピュータビジョンとレコメンダシステムMTLデータセットの実験は、AdaTaskが支配的なタスクのパフォーマンスを大幅に改善することを示した。
論文参考訳（メタデータ） (2022-11-28T04:24:38Z)
Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models [50.33956216274694]
マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
論文参考訳（メタデータ） (2022-10-18T11:20:54Z)
Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks [73.63892022944198]
我々はUni-Perceiverという汎用認識アーキテクチャを提案する。様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
論文参考訳（メタデータ） (2021-12-02T18:59:50Z)
Optimization Strategies in Multi-Task Learning: Averaged or Independent Losses? [15.905060482249873]
マルチタスク学習(MTL)では,タスク固有の目的関数の重み付け平均である目的関数を最適化することにより,マルチタスクネットワークのトレーニングを行うのが一般的である。本研究では,タスク固有目的関数の独立勾配降下ステップを交互に交互に行うことで,そのような代替手段の利点を考察する。ランダムなグループ化戦略は,これらの利点と計算効率のトレードオフを可能にすることを示す。
論文参考訳（メタデータ） (2021-09-21T09:34:14Z)
Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文参考訳（メタデータ） (2021-04-28T16:45:56Z)
Small Towers Make Big Differences [59.243296878666285]
マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
論文参考訳（メタデータ） (2020-08-13T10:45:31Z)
Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文参考訳（メタデータ） (2020-07-24T14:44:46Z)
Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。