論文の概要: Active Multi-Task Representation Learning

• arxiv url: http://arxiv.org/abs/2202.00911v1
• Date: Wed, 2 Feb 2022 08:23:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-03 13:49:56.680514
• Title: Active Multi-Task Representation Learning
• Title（参考訳）: アクティブマルチタスク表現学習
• Authors: Yifang Chen, Simon S. Du, Kevin Jamieson
• Abstract要約: 本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
• 参考スコア（独自算出の注目度）: 50.13453053304159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To leverage the power of big data from source tasks and overcome the scarcity of the target task samples, representation learning based on multi-task pretraining has become a standard approach in many applications. However, up until now, choosing which source tasks to include in the multi-task learning has been more art than science. In this paper, we give the first formal study on resource task sampling by leveraging the techniques from active learning. We propose an algorithm that iteratively estimates the relevance of each source task to the target task and samples from each source task based on the estimated relevance. Theoretically, we show that for the linear representation class, to achieve the same error rate, our algorithm can save up to a \textit{number of source tasks} factor in the source task sample complexity, compared with the naive uniform sampling from all source tasks. We also provide experiments on real-world computer vision datasets to illustrate the effectiveness of our proposed method on both linear and convolutional neural network representation classes. We believe our paper serves as an important initial step to bring techniques from active learning to representation learning.
• Abstract（参考訳）: ソースタスクからのビッグデータのパワーを活用し,対象タスクサンプルの不足を克服するために,マルチタスク事前学習に基づく表現学習は多くのアプリケーションにおいて標準的アプローチとなっている。 しかし、これまでは、マルチタスク学習に含まれるソースタスクを選択することは、科学よりも芸術的だった。 本稿では,アクティブラーニングの手法を活用することで,資源タスクサンプリングに関する最初の公式研究を行う。 提案アルゴリズムは,各ソースタスクの目的タスクに対する関連性を反復的に推定し,その関連性に基づいて各ソースタスクからサンプルを抽出する。 理論的には、線形表現クラスが同じエラー率を達成するために、我々のアルゴリズムはソースタスクのサンプルの複雑さにおいて、すべてのソースタスクから単純で均一なサンプリングを行うのと比較して、最大1要素まで節約できることを示す。 また,線形および畳み込みニューラルネットワーク表現クラスにおける提案手法の有効性を示すために,実世界のコンピュータビジョンデータセットの実験を行った。 私たちの論文は、アクティブラーニングから表現学習へ技術をもたらすための重要な最初のステップであると信じています。

関連論文リスト

• The Power of Active Multi-Task Learning in Reinforcement Learning from Human Feedback [12.388205905012423]
  人間のフィードバックからの強化学習は、大きな言語モデルの性能向上に寄与している。 我々は、RLHFをコンテキストデュエルバンディット問題として定式化し、共通の線形表現を仮定する。 我々は、$varepsilon-$optimalを達成するために、ソースタスクのサンプルの複雑さを著しく低減することができることを証明した。
  論文  参考訳（メタデータ） (2024-05-18T08:29:15Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Identification of Negative Transfers in Multitask Learning Using Surrogate Models [29.882265735630046]
  マルチタスク学習は、複数の関連するソースタスクで強化することで、低リソースのターゲットタスクのトレーニングに広く使用されている。 マルチタスク学習における重要な問題は、ターゲットタスクに利益をもたらすソースタスクのサブセットを特定することである。 本稿では,サロゲートモデルを用いてこの問題に対処する効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-25T23:16:11Z)
• Provable Benefits of Representational Transfer in Reinforcement Learning [59.712501044999875]
  本稿では,RLにおける表現伝達の問題について検討し,エージェントがまず複数のソースタスクを事前訓練し,共有表現を発見する。 本稿では,ソースタスクに対する生成的アクセスが与えられた場合,次に続く線形RL手法がほぼ最適ポリシーに迅速に収束する表現を発見できることを示す。
  論文  参考訳（メタデータ） (2022-05-29T04:31:29Z)
• X-Learner: Learning Cross Sources and Tasks for Universal Visual Representation [71.51719469058666]
  本稿では,X-Learnerという表現学習フレームワークを提案する。 X-Learnerは、様々なソースによって管理される複数の視覚タスクの普遍的な特徴を学習する。 X-Learnerは、追加のアノテーションやモダリティ、計算コストを使わずに、様々なタスクで強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-16T17:23:26Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Pretext Tasks selection for multitask self-supervised speech representation learning [23.39079406674442]
  提案手法では,候補群の中からプレテキストタスク群を選択する手法を提案する。 話者認識と自動音声認識の実験により,我々のアプローチが検証された。
  論文  参考訳（メタデータ） (2021-07-01T16:36:29Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• Efficient Reinforcement Learning in Resource Allocation Problems Through Permutation Invariant Multi-task Learning [6.247939901619901]
  特定の環境では、利用可能なデータはマルチタスク学習の形式で劇的に向上できることを示す。 我々は,この条件下でのサンプル効率の利得に結びついた理論的性能を提供する。 これは、適切なニューラルネットワークアーキテクチャの設計と優先順位付けされたタスクサンプリング戦略を含む、マルチタスク学習への新しいアプローチを動機付ける。
  論文  参考訳（メタデータ） (2021-02-18T14:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。