論文の概要: Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning

• arxiv url: http://arxiv.org/abs/2308.01744v1
• Date: Thu, 3 Aug 2023 13:08:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 14:09:51.625430
• Title: Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning
• Title（参考訳）: レグレットのないマルチタスク学習:信頼境界の改善からアクティブラーニングへ
• Authors: Pier Giuseppe Sessa, Pierre Laforgue, Nicol\`o Cesa-Bianchi, Andreas Krause
• Abstract要約: 推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。 タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。 本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 79.07658065326592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multitask learning is a powerful framework that enables one to simultaneously learn multiple related tasks by sharing information between them. Quantifying uncertainty in the estimated tasks is of pivotal importance for many downstream applications, such as online or active learning. In this work, we provide novel multitask confidence intervals in the challenging agnostic setting, i.e., when neither the similarity between tasks nor the tasks' features are available to the learner. The obtained intervals do not require i.i.d. data and can be directly applied to bound the regret in online learning. Through a refined analysis of the multitask information gain, we obtain new regret guarantees that, depending on a task similarity parameter, can significantly improve over treating tasks independently. We further propose a novel online learning algorithm that achieves such improved regret without knowing this parameter in advance, i.e., automatically adapting to task similarity. As a second key application of our results, we introduce a novel multitask active learning setup where several tasks must be simultaneously optimized, but only one of them can be queried for feedback by the learner at each round. For this problem, we design a no-regret algorithm that uses our confidence intervals to decide which task should be queried. Finally, we empirically validate our bounds and algorithms on synthetic and real-world (drug discovery) data.
• Abstract（参考訳）: マルチタスク学習は、情報を共有することで複数の関連するタスクを同時に学習することを可能にする強力なフレームワークである。 推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。 本研究では,タスク間の類似性やタスクの特徴が学習者に利用できない場合に,課題非依存の設定において,新しいマルチタスク信頼区間を提供する。 得られたインターバルは、i.d.データを必要としないので、オンライン学習における後悔に直接適用することができる。 マルチタスク情報ゲインの洗練された解析により、タスク類似度パラメータによってタスクを個別に扱うよりも大幅に改善できるという新たな後悔の保証を得る。 さらに,前もってこのパラメータを知らずに改善された後悔,すなわちタスクの類似性に自動的に適応する新しいオンライン学習アルゴリズムを提案する。 第2の応用として,複数のタスクを同時に最適化する必要があるが,各ラウンドの学習者からフィードバックを受けられるのは1つのタスクのみである,新たなマルチタスクアクティブラーニング設定を提案する。 この問題に対して,我々は信頼区間を用いて検索すべきタスクを決定するノーレグレットアルゴリズムを設計した。 最後に,合成および実世界データ(ドラッグ発見)の限界とアルゴリズムを実証的に検証する。

関連論文リスト

• Continual Learning of Numerous Tasks from Long-tail Distributions [17.706669222987273]
  継続的な学習は、以前獲得した知識を維持しながら、新しいタスクを学習し、適応するモデルの開発に焦点を当てる。 既存の連続学習アルゴリズムは、通常、一定の大きさの少数のタスクを伴い、現実世界の学習シナリオを正確に表現しないことがある。 本稿では,従来のタスクから第2モーメントの重み付け平均を維持することで,アダムの状態を再利用する手法を提案する。 提案手法は,既存のほとんどの連続学習アルゴリズムと互換性があり,少ない計算量やメモリコストで忘れを効果的に削減できることを実証する。
  論文  参考訳（メタデータ） (2024-04-03T13:56:33Z)
• Is Multi-Task Learning an Upper Bound for Continual Learning? [26.729088618251282]
  本稿では,特定のデータ拡張のクラスに対して,各タスクが不変表現を学習することに対応する,連続的な自己指導型学習環境を提案する。 連続学習は、MNIST、CIFAR-10、CIFAR-100など、様々なベンチマークデータセットでマルチタスク学習を上回ることが多い。
  論文  参考訳（メタデータ） (2022-10-26T15:45:11Z)
• Saliency-Regularized Deep Multi-Task Learning [7.3810864598379755]
  マルチタスク学習は、知識を共有するために複数の学習タスクを強制し、一般化能力を改善する。 現代のディープマルチタスク学習は、潜在機能とタスク共有を共同で学習することができるが、それらはタスク関係において不明瞭である。 本稿では,潜在的特徴と明示的な課題関係を共同で学習するマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-03T20:26:44Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Active Multitask Learning with Committees [15.862634213775697]
  従来のトレーニングデータのアノテートコストは、教師付き学習アプローチのボトルネックでした。 タスク間の知識伝達を実現するアクティブマルチタスク学習アルゴリズムを提案する。 提案手法は,テストデータの精度を維持しつつ,トレーニングに必要なクエリ数を削減する。
  論文  参考訳（メタデータ） (2021-03-24T18:07:23Z)
• Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
  論文  参考訳（メタデータ） (2020-10-29T08:25:43Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Linear Mode Connectivity in Multitask and Continual Learning [46.98656798573886]
  マルチタスクと連続解が同様に接続されているかを検討する。 マルチタスク・ソリューションとして振る舞うために、逐次学習されたミニマを制約する効果的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-09T10:53:25Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Gradient Surgery for Multi-Task Learning [119.675492088251]
  マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。 マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。 本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
  論文  参考訳（メタデータ） (2020-01-19T06:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。