論文の概要: Enabling Asymmetric Knowledge Transfer in Multi-Task Learning with Self-Auxiliaries

• arxiv url: http://arxiv.org/abs/2410.15875v1
• Date: Mon, 21 Oct 2024 10:57:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:17:23.157592
• Title: Enabling Asymmetric Knowledge Transfer in Multi-Task Learning with Self-Auxiliaries
• Title（参考訳）: 自己補助型マルチタスク学習における非対称な知識伝達の実現
• Authors: Olivier Graffeuille, Yun Sing Koh, Joerg Wicker, Moritz Lehmann,
• Abstract要約: 本研究では,知識伝達が他者の学習を妨げることなく,特定のタスクの学習を支援する非対称なタスク関係について検討する。 本研究では,非対称にタスク間の知識を柔軟に伝達する学習プロセスに,自己辞書と呼ばれる追加のクローンタスクを含む最適化戦略を提案する。 非対称な知識伝達は、ベンチマークコンピュータビジョン問題における既存のマルチタスク最適化戦略と比較して、性能が大幅に向上することを示した。
• 参考スコア（独自算出の注目度）: 4.031100721019478
• License:
• Abstract: Knowledge transfer in multi-task learning is typically viewed as a dichotomy; positive transfer, which improves the performance of all tasks, or negative transfer, which hinders the performance of all tasks. In this paper, we investigate the understudied problem of asymmetric task relationships, where knowledge transfer aids the learning of certain tasks while hindering the learning of others. We propose an optimisation strategy that includes additional cloned tasks named self-auxiliaries into the learning process to flexibly transfer knowledge between tasks asymmetrically. Our method can exploit asymmetric task relationships, benefiting from the positive transfer component while avoiding the negative transfer component. We demonstrate that asymmetric knowledge transfer provides substantial improvements in performance compared to existing multi-task optimisation strategies on benchmark computer vision problems.
• Abstract（参考訳）: マルチタスク学習における知識伝達は、典型的には二分法、正の伝達は全てのタスクのパフォーマンスを改善する、負の伝達は全てのタスクのパフォーマンスを阻害すると見なされる。 本稿では,非対称なタスク関係の課題について検討し,知識伝達が他者の学習を妨げることなく,特定のタスクの学習を支援する。 本研究では,非対称にタスク間の知識を柔軟に伝達する学習プロセスに,自己辞書と呼ばれる追加のクローンタスクを含む最適化戦略を提案する。 本手法は, 負の伝達成分を回避しながら, 正の伝達成分の恩恵を受けながら非対称なタスク関係を利用することができる。 非対称な知識伝達は、ベンチマークコンピュータビジョン問題における既存のマルチタスク最適化戦略と比較して、性能が大幅に向上することを示した。

関連論文リスト

• Distill Knowledge in Multi-task Reinforcement Learning with Optimal-Transport Regularization [0.24475591916185496]
  マルチタスク強化学習では、他の異なるタスクから知識を伝達することで、トレーニングエージェントのデータ効率を向上させることができる。 伝統的な手法は、あるタスクから他のタスクへの知識の移動を安定化するために、Kulback-Leibler正規化に依存している。 本研究では,Kulback-Leiblerの発散を,新しいトランスポートベース正規化に置き換える方向について検討する。
  論文  参考訳（メタデータ） (2023-09-27T12:06:34Z)
• Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning [79.07658065326592]
  推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。 タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。 本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-03T13:08:09Z)
• Generalization Performance of Transfer Learning: Overparameterized and Underparameterized Regimes [61.22448274621503]
  現実世界のアプリケーションでは、タスクは部分的な類似性を示し、あるアスペクトは似ているが、他のアスペクトは異なるか無関係である。 本研究は,パラメータ伝達の2つの選択肢を包含して,多種多様な移動学習について検討する。 一般化性能を向上させるために,共通部分とタスク特化部分の特徴数を決定するための実践的ガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-06-08T03:08:40Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Learning Multi-Task Transferable Rewards via Variational Inverse Reinforcement Learning [10.782043595405831]
  我々は、生成的対向ネットワークの枠組みに基づく複数のタスクを伴う状況に対して、エンパワーメントに基づく正規化手法を拡張した。 未知のダイナミクスを持つマルチタスク環境下では、ラベルのない専門家の例から報酬とポリシーを学ぶことに集中する。 提案手法は, 状況的相互情報の変動的下限を導出し, 最適化する。
  論文  参考訳（メタデータ） (2022-06-19T22:32:41Z)
• Rethinking Learning Dynamics in RL using Adversarial Networks [79.56118674435844]
  本稿では,スキル埋め込み空間を通じてパラメータ化された,密接に関連するスキルの強化学習のための学習機構を提案する。 本研究の主な貢献は、エントロピー規則化政策勾配定式化の助けを借りて、強化学習のための敵の訓練体制を定式化することである。
  論文  参考訳（メタデータ） (2022-01-27T19:51:09Z)
• Phase Transitions in Transfer Learning for High-Dimensional Perceptrons [12.614901374282868]
  伝達学習は、関連するソースタスクから学んだ知識を活用することにより、対象タスクの一般化性能の向上を目指す。 後者の質問は、転送元情報が実際にターゲットタスクの一般化性能を減少させるいわゆる負の転送現象に関連しています。 本稿では,関連する1対のパーセプトロン学習タスクを解析し,転送学習の理論解析を行う。
  論文  参考訳（メタデータ） (2021-01-06T08:29:22Z)
• Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
  論文  参考訳（メタデータ） (2020-10-29T08:25:43Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。