論文の概要: Towards All-around Knowledge Transferring: Learning From Task-irrelevant Labels

• arxiv url: http://arxiv.org/abs/2011.08470v2
• Date: Wed, 4 May 2022 10:06:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 17:04:12.427195
• Title: Towards All-around Knowledge Transferring: Learning From Task-irrelevant Labels
• Title（参考訳）: 全周的な知識伝達を目指して--タスク関連ラベルから学ぶ
• Authors: Yinghui Li, Ruiyang Liu, ZiHao Zhang, Ning Ding, Ying Shen, Linmi Tao, Hai-Tao Zheng
• Abstract要約: 既存の取り組みは、この問題に取り組むために、タスク関連知識を他の類似データから移すことに重点を置いている。 これまでタスク非関連の特徴の影響を調査する大規模な研究は行われていない。 本稿では,タスク非関連ラベルから主に抽出されるタスク非関連特徴を利用するタスク非関連変換学習を提案する。
• 参考スコア（独自算出の注目度）: 44.036667329736225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural models have hitherto achieved significant performances on numerous classification tasks, but meanwhile require sufficient manually annotated data. Since it is extremely time-consuming and expensive to annotate adequate data for each classification task, learning an empirically effective model with generalization on small dataset has received increased attention. Existing efforts mainly focus on transferring task-relevant knowledge from other similar data to tackle the issue. These approaches have yielded remarkable improvements, yet neglecting the fact that the task-irrelevant features could bring out massive negative transfer effects. To date, no large-scale studies have been performed to investigate the impact of task-irrelevant features, let alone the utilization of this kind of features. In this paper, we firstly propose Task-Irrelevant Transfer Learning (TIRTL) to exploit task-irrelevant features, which mainly are extracted from task-irrelevant labels. Particularly, we suppress the expression of task-irrelevant information and facilitate the learning process of classification. We also provide a theoretical explanation of our method. In addition, TIRTL does not conflict with those that have previously exploited task-relevant knowledge and can be well combined to enable the simultaneous utilization of task-relevant and task-irrelevant features for the first time. In order to verify the effectiveness of our theory and method, we conduct extensive experiments on facial expression recognition and digit recognition tasks. Our source code will be also available in the future for reproducibility.
• Abstract（参考訳）: ディープニューラルモデルは、多くの分類タスクでかなりの性能を発揮しているが、一方で十分な手作業による注釈データを必要とする。 分類タスクごとに適切なデータをアノテートするのは極めて時間がかかり、費用がかかるため、小さなデータセットに一般化した経験的有効モデルの学習が注目を集めている。 既存の取り組みは、問題に取り組むために、タスク関連の知識を他の類似データから移すことに重点を置いている。 これらのアプローチは目覚ましい改善をもたらしたが、タスク非関連の特徴が大きな負の伝達効果をもたらすことを無視した。 これまでのところ、この種の機能の利用はさておき、タスクの無関係な機能の影響を調べるための大規模な研究は行われていない。 本稿では,主にタスク関連ラベルから抽出されるタスク関連特徴を利用するタスク関連移動学習(TIRTL)を提案する。 特に,タスク非関連情報の表現を抑え,分類の学習プロセスを容易にする。 また,本手法の理論的説明も行う。 さらに、TIRTLは以前タスク関連知識を利用してきたものとは相反せず、タスク関連機能とタスク関連機能との同時利用を可能にするためにうまく組み合わせることができる。 本理論と手法の有効性を検証するため,表情認識と指認識タスクに関する広範囲な実験を行った。 当社のソースコードも将来的には再現可能になる予定です。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• An Information-Theoretic Approach to Transferability in Task Transfer Learning [16.05523977032659]
  タスク転送学習は、訓練済みのモデルを用いて関連するタスクの監督コストを削減する画像処理アプリケーションで一般的な手法である。 分類問題において、あるタスクから別のタスクへ変換された表現のパフォーマンスを推定する新しい計量 H-score を提案する。
  論文  参考訳（メタデータ） (2022-12-20T08:47:17Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Cross-Task Knowledge Distillation in Multi-Task Recommendation [41.62428191434233]
  マルチタスク学習は、さまざまなタイプのユーザフィードバックを予測するために、現実世界のレコメンデータで広く利用されている。 本稿では,3つの手順からなるクロスタスク知識蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-20T16:15:19Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• On the importance of cross-task features for class-incremental learning [14.704888854064501]
  クラス増分学習では、限られたリソースを持つエージェントが一連の分類タスクを学習する必要がある。 タスクIDを推論時に利用できるタスクインクリメンタル学習との主な違いは、学習者がタスク間の差別を行う必要があることである。
  論文  参考訳（メタデータ） (2021-06-22T17:03:15Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。