論文の概要: Modeling Output-Level Task Relatedness in Multi-Task Learning with Feedback Mechanism

• arxiv url: http://arxiv.org/abs/2404.00885v1
• Date: Mon, 1 Apr 2024 03:27:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 23:36:00.978016
• Title: Modeling Output-Level Task Relatedness in Multi-Task Learning with Feedback Mechanism
• Title（参考訳）: フィードバック機構を持つマルチタスク学習における出力レベルタスク関連性のモデル化
• Authors: Xiangming Xi, Feng Gao, Jun Xu, Fangtai Guo, Tianlei Jin,
• Abstract要約: マルチタスク学習(MTL)は、異なるレベルで情報を共有することで複数のタスクを同時に学習するパラダイムである。 異なるタスクが相互に影響のある相関出力を生成する可能性があることを考慮し、後続情報をモデルに導入する。 我々は,MTLモデルにフィードバック機構を組み込むことで,あるタスクの出力が他のタスクの隠れ機能として機能する。
• 参考スコア（独自算出の注目度）: 7.479892725446205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (MTL) is a paradigm that simultaneously learns multiple tasks by sharing information at different levels, enhancing the performance of each individual task. While previous research has primarily focused on feature-level or parameter-level task relatedness, and proposed various model architectures and learning algorithms to improve learning performance, we aim to explore output-level task relatedness. This approach introduces a posteriori information into the model, considering that different tasks may produce correlated outputs with mutual influences. We achieve this by incorporating a feedback mechanism into MTL models, where the output of one task serves as a hidden feature for another task, thereby transforming a static MTL model into a dynamic one. To ensure the training process converges, we introduce a convergence loss that measures the trend of a task's outputs during each iteration. Additionally, we propose a Gumbel gating mechanism to determine the optimal projection of feedback signals. We validate the effectiveness of our method and evaluate its performance through experiments conducted on several baseline models in spoken language understanding.
• Abstract（参考訳）: マルチタスク学習(MTL)は、異なるレベルで情報を共有し、個々のタスクのパフォーマンスを向上させることで、複数のタスクを同時に学習するパラダイムである。 従来の研究では,特徴レベルのタスク関連性やパラメータレベルのタスク関連性に着目し,学習性能を向上させるための様々なモデルアーキテクチャと学習アルゴリズムを提案してきたが,本研究は出力レベルのタスク関連性を探究することを目的としている。 このアプローチは、異なるタスクが相互の影響で相関した出力を生成する可能性があることを考慮し、後続情報をモデルに導入する。 フィードバック機構をMPLモデルに組み込むことで、あるタスクの出力が他のタスクの隠れ機能として機能し、静的MLLモデルを動的モデルに変換する。 トレーニングプロセスの収束を保証するため,各イテレーション中のタスクのアウトプットの傾向を計測する収束損失を導入する。 さらに,フィードバック信号の最適投影を決定するためのガムベルゲーティング機構を提案する。 提案手法の有効性を検証し,複数のベースラインモデルを用いた音声言語理解実験により評価する。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
  本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。 具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。 最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
  論文  参考訳（メタデータ） (2023-09-21T14:00:11Z)
• SeMAIL: Eliminating Distractors in Visual Imitation via Separated Models [22.472167814814448]
  本稿では,SeMAIL(Separated Model-based Adversarial Imitation Learning)というモデルベース模倣学習アルゴリズムを提案する。 本手法は, 様々な視覚的制御タスクにおいて, 複雑な観察と, 専門的な観察から異なる背景を持つより困難なタスクにおいて, ほぼ専門的な性能を実現する。
  論文  参考訳（メタデータ） (2023-06-19T04:33:44Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks [73.63892022944198]
  我々はUni-Perceiverという汎用認識アーキテクチャを提案する。 様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。 その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2021-12-02T18:59:50Z)
• Cross-Task Consistency Learning Framework for Multi-Task Learning [9.991706230252708]
  2タスクMTL問題に対する新しい学習フレームワークを提案する。 サイクル一貫性損失とコントラスト学習に着想を得た2つの新たな損失項を定義する。 理論的には、どちらの損失もモデルをより効率的に学習する助けとなり、直進予測と整合する点において、クロスタスクの整合性損失がより良いことを証明している。
  論文  参考訳（メタデータ） (2021-11-28T11:55:19Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Learning Functions to Study the Benefit of Multitask Learning [25.325601027501836]
  我々は,シーケンスラベリングタスクのためのマルチタスク学習(MTL)モデルの一般化パターンを研究・定量化する。 マルチタスク学習はいくつかの問題において改善されたパフォーマンスを実現しているが、同時にトレーニングするとパフォーマンスが低下するタスクもある。
  論文  参考訳（メタデータ） (2020-06-09T23:51:32Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。