論文の概要: Curbing Task Interference using Representation Similarity-Guided Multi-Task Feature Sharing

• arxiv url: http://arxiv.org/abs/2208.09427v1
• Date: Fri, 19 Aug 2022 16:19:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-22 16:43:34.606047
• Title: Curbing Task Interference using Representation Similarity-Guided Multi-Task Feature Sharing
• Title（参考訳）: Representation similarity-Guided Multi-Task Feature Sharing を用いたカービングタスク干渉
• Authors: Naresh Kumar Gurulingan, Elahe Arani, Bahram Zonooz
• Abstract要約: エンコーダとデコーダの両方を共有することで、高密度予測タスクのマルチタスク学習は、精度と計算効率の両方を向上させるための魅力的なフロントを提供する。 本稿では,タスクデコーダをタスク間表現の類似性に基づいて段階的に結合するプログレッシブデコーダ・フュージョン(PDF)を提案する。 本手法により,マルチタスクネットワークの実現が図られ,分布内および分布外データへの一般化が向上し,敵攻撃に対するロバスト性が向上した。
• 参考スコア（独自算出の注目度）: 12.525959293825318
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multi-task learning of dense prediction tasks, by sharing both the encoder and decoder, as opposed to sharing only the encoder, provides an attractive front to increase both accuracy and computational efficiency. When the tasks are similar, sharing the decoder serves as an additional inductive bias providing more room for tasks to share complementary information among themselves. However, increased sharing exposes more parameters to task interference which likely hinders both generalization and robustness. Effective ways to curb this interference while exploiting the inductive bias of sharing the decoder remains an open challenge. To address this challenge, we propose Progressive Decoder Fusion (PDF) to progressively combine task decoders based on inter-task representation similarity. We show that this procedure leads to a multi-task network with better generalization to in-distribution and out-of-distribution data and improved robustness to adversarial attacks. Additionally, we observe that the predictions of different tasks of this multi-task network are more consistent with each other.
• Abstract（参考訳）: 高密度予測タスクのマルチタスク学習は、エンコーダとデコーダの両方を共有することによって、エンコーダのみを共有することよりも、精度と計算効率の両方を高めるための魅力的な側面を提供する。 タスクが類似している場合、デコーダの共有は、タスク間で補完的な情報を共有する余地を拡大する帰納的バイアスとして機能する。 しかし、共有の増大はタスクの干渉により多くのパラメータを公開し、一般化とロバスト性の両方を妨げる可能性がある。 この干渉を抑制する効果的な方法は、デコーダを共有する誘導バイアスを活用しながら、オープンな課題である。 そこで本研究では,タスク間の類似性に基づいてタスクデコーダを漸進的に結合するプログレッシブデコーダ融合(pdf)を提案する。 本手法は,分散と分散データの一般化が向上し,対向攻撃に対するロバスト性が向上したマルチタスクネットワークを実現する。 さらに、このマルチタスクネットワークの異なるタスクの予測が互いにより一致していることが観察された。

関連論文リスト

• Learning Representation for Multitask learning through Self Supervised Auxiliary learning [3.236198583140341]
  ハードパラメータ共有アプローチでは、複数のタスクを通して共有されるエンコーダは、タスク固有の予測子に渡されるデータ表現を生成する。 共有エンコーダが生成する表現の普遍性を改善することを目的としたダミー勾配ノルム正規化を提案する。 DGRは共有表現の品質を効果的に向上し、マルチタスク予測性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-09-25T06:08:35Z)
• DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
  我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。 DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。 実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:04:21Z)
• Switch Diffusion Transformer: Synergizing Denoising Tasks with Sparse Mixture-of-Experts [17.04227271007777]
  拡散モデルは、様々な生成的タスクで顕著な成功を収めた。 近年の取り組みは、各タスクが特定の雑音レベルにおける認知タスクに対応するマルチタスク学習の形式として再認識されている。 タスク間のタスク間関係を確立するSwitch-DiT(Switch Diffusion Transformer)を導入する。
  論文  参考訳（メタデータ） (2024-03-14T08:43:43Z)
• Contrastive Multi-Task Dense Prediction [11.227696986100447]
  設計における中核的な目的は、異なるタスクに対する包括的な改善を達成するために、クロスタスクインタラクションを効果的にモデル化する方法である。 マルチタスク密接な予測のためのクロスタスク相互作用のモデル化に特徴的コントラスト整合を導入する。 本稿では,各サブタスクの表現学習を効果的に促進するために,一貫性に基づく新しいマルチタスクコントラスト正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-16T03:54:01Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Auxiliary Learning by Implicit Differentiation [54.92146615836611]
  補助的なタスクによるニューラルネットワークのトレーニングは、関心のあるメインタスクのパフォーマンスを改善するための一般的なプラクティスである。 そこで我々は,暗黙の識別に基づく両課題を対象とした新しいフレームワークAuxiLearnを提案する。 まず、有用な補助関数が知られている場合、全ての損失を1つのコヒーレントな目的関数に組み合わせたネットワークの学習を提案する。 第二に、有用な補助タスクが知られていない場合、意味のある新しい補助タスクを生成するネットワークの学習方法について述べる。
  論文  参考訳（メタデータ） (2020-06-22T19:35:07Z)
• Robust Learning Through Cross-Task Consistency [92.42534246652062]
  クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。 クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
  論文  参考訳（メタデータ） (2020-06-07T09:24:33Z)
• Distributed Primal-Dual Optimization for Online Multi-Task Learning [22.45069527817333]
  本稿では,対数学習におけるタスク固有のノイズを捕捉し,実行時効率でプロジェクションフリーな更新を行う適応的原始双対アルゴリズムを提案する。 我々のモデルは、エネルギー不足や帯域制限のあるタスクが更新を延期できるようにするため、分散型の周期接続タスクに適しています。 実験結果から,提案モデルが実世界の様々なデータセットに対して極めて有効であることが確認された。
  論文  参考訳（メタデータ） (2020-04-02T23:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。