論文の概要: Multi-task Learning by Leveraging the Semantic Information

• arxiv url: http://arxiv.org/abs/2103.02546v1
• Date: Wed, 3 Mar 2021 17:36:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-04 15:10:18.552897
• Title: Multi-task Learning by Leveraging the Semantic Information
• Title（参考訳）: 意味情報を活用したマルチタスク学習
• Authors: Fan Zhou, Brahim Chaib-draa, Boyu Wang
• Abstract要約: タスク間の意味的条件関係を探索し,マルチタスク学習におけるラベル情報の利用を提案する。 また,分析結果から,意味分布と協調してラベル分布の発散を制御する具体的アルゴリズムが導かれる。
• 参考スコア（独自算出の注目度）: 14.397128692867799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One crucial objective of multi-task learning is to align distributions across tasks so that the information between them can be transferred and shared. However, existing approaches only focused on matching the marginal feature distribution while ignoring the semantic information, which may hinder the learning performance. To address this issue, we propose to leverage the label information in multi-task learning by exploring the semantic conditional relations among tasks. We first theoretically analyze the generalization bound of multi-task learning based on the notion of Jensen-Shannon divergence, which provides new insights into the value of label information in multi-task learning. Our analysis also leads to a concrete algorithm that jointly matches the semantic distribution and controls label distribution divergence. To confirm the effectiveness of the proposed method, we first compare the algorithm with several baselines on some benchmarks and then test the algorithms under label space shift conditions. Empirical results demonstrate that the proposed method could outperform most baselines and achieve state-of-the-art performance, particularly showing the benefits under the label shift conditions.
• Abstract（参考訳）: マルチタスク学習の重要な目的の1つは、タスク間の分散を調整し、それらの間の情報を転送し共有することである。 しかし、既存のアプローチは、学習性能を妨げる可能性のある意味情報を無視しながら、限界特徴分布のマッチングにのみ焦点を当てている。 そこで我々は,タスク間の意味的条件関係を探索し,マルチタスク学習におけるラベル情報の利用を提案する。 まず,マルチタスク学習におけるラベル情報の価値に関する新たな洞察を提供するjensen-shannon divergenceの概念に基づいて,マルチタスク学習の一般化境界を理論的に解析した。 また,分析結果から,意味分布と協調してラベル分布の発散を制御する具体的アルゴリズムが導かれる。 提案手法の有効性を確認するため,本アルゴリズムをいくつかのベンチマークで複数のベースラインと比較し,ラベル空間シフト条件下でアルゴリズムをテストした。 実証実験の結果,提案手法がほとんどのベースラインを上回り,特にラベルシフト条件下でのメリットを示す最新性能を達成できることが示された。

関連論文リスト

• Leveraging knowledge distillation for partial multi-task learning from multiple remote sensing datasets [2.1178416840822023]
  ターゲットタスクの1つにトレーニング例をアノテートする部分的マルチタスク学習は、リモートセンシングにおいて有望なアイデアである。 本稿では, 知識蒸留を用いて, 代替課題における基礎的真理の必要性を代替し, その性能を向上させることを提案する。
  論文  参考訳（メタデータ） (2024-05-24T09:48:50Z)
• Sharing Knowledge in Multi-Task Deep Reinforcement Learning [57.38874587065694]
  マルチタスク強化学習において、ディープニューラルネットワークを効果的に活用するためのタスク間の表現の共有の利点について検討する。 我々は,タスク間で表現を共有するのに便利な条件を強調する理論的保証を提供することで,これを証明している。
  論文  参考訳（メタデータ） (2024-01-17T19:31:21Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Multi-Task Consistency for Active Learning [18.794331424921946]
  不整合に基づくアクティブラーニングは、アノテーションに対する情報的サンプルの選択に有効であることが証明されている。 本稿では,オブジェクト検出とセマンティックセグメンテーションという2つの複合視覚タスクのための,新しいマルチタスク能動学習戦略を提案する。 提案手法は、利用可能なデータのわずか67%を使用して、完全にトレーニングされたパフォーマンスの95%を達成している。
  論文  参考訳（メタデータ） (2023-06-21T17:34:31Z)
• Deep Semi-supervised Learning with Double-Contrast of Features and Semantics [2.2230089845369094]
  本稿では,エンド・ツー・エンドの半教師あり学習における意味と特徴の二重コントラストを提案する。 我々は情報理論を活用し、意味論と特徴の二重コントラストの合理性を説明する。
  論文  参考訳（メタデータ） (2022-11-28T09:08:19Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Gap Minimization for Knowledge Sharing and Transfer [24.954256258648982]
  本稿では,学習課題間の距離の直感的かつ新しい尺度であるエンファンパシーギャップの概念を紹介する。 性能ギャップをデータおよびアルゴリズムに依存した正規化器とみなすことができ、モデルの複雑さを制御し、より詳細な保証をもたらす。 私たちはこの原理を2つのアルゴリズムでインスタンス化する: 1. gapBoost, トランスファーラーニングのためのソースとターゲットドメイン間のパフォーマンスギャップを明示的に最小化する新規で原則化されたブースティングアルゴリズム; 2. gapMTNN, ギャップ最小化をセマンティック条件マッチングとして再構成する表現学習アルゴリズム
  論文  参考訳（メタデータ） (2022-01-26T23:06:20Z)
• Learning Multiple Dense Prediction Tasks from Partially Annotated Data [41.821234589075445]
  マルチタスク部分教師付き学習(multi-task part-supervised learning)と呼ぶ部分注釈付きデータ上で,複数の密接な予測タスクを共同で学習する。 本稿では,タスク関係を利用したマルチタスク学習手法を提案する。 提案手法は,既存の半教師付き学習手法や関連手法を3つの標準ベンチマークで上回り,非ラベルなタスクで効果的に活用できることを厳密に実証する。
  論文  参考訳（メタデータ） (2021-11-29T19:03:12Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Concurrent Discrimination and Alignment for Self-Supervised Feature Learning [52.213140525321165]
  既存の自己指導型学習手法は,(1)どの特徴が分離されるべきかを明確に示すこと,あるいは(2)どの特徴が閉じるべきかを明確に示すこと,のいずれかのプリテキストタスクを用いて学習する。 本研究では,識別・調整手法の正の側面を組み合わせて,上記の課題に対処するハイブリッド手法を設計する。 本手法は,識別的予測タスクによってそれぞれ反発とアトラクションのメカニズムを明確に特定し,ペアビュー間の相互情報を同時に最大化する。 確立された9つのベンチマーク実験により,提案モデルが自己監督と移動の既成結果より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-19T09:07:41Z)
• Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
  マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。 また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
  論文  参考訳（メタデータ） (2021-01-02T07:13:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。