論文の概要: Label Budget Allocation in Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2308.12949v1
• Date: Thu, 24 Aug 2023 17:38:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 12:55:17.497758
• Title: Label Budget Allocation in Multi-Task Learning
• Title（参考訳）: マルチタスク学習におけるラベル予算配分
• Authors: Ximeng Sun, Kihyuk Sohn, Kate Saenko, Clayton Mellina, Xiao Bian
• Abstract要約: マルチタスク学習では、関連するタスクが互いに情報を提供し、全体的なパフォーマンスを改善する。 最適なマルチタスクパフォーマンスを実現するために,ラベル予算をさまざまなタスクに割り当てるには,どうすればよいのか? 我々は,マルチタスク学習において,ラベル予算配分問題を初めて提案し,正式に定義する。
• 参考スコア（独自算出の注目度）: 61.12008399759143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The cost of labeling data often limits the performance of machine learning systems. In multi-task learning, related tasks provide information to each other and improve overall performance, but the label cost can vary among tasks. How should the label budget (i.e. the amount of money spent on labeling) be allocated among different tasks to achieve optimal multi-task performance? We are the first to propose and formally define the label budget allocation problem in multi-task learning and to empirically show that different budget allocation strategies make a big difference to its performance. We propose a Task-Adaptive Budget Allocation algorithm to robustly generate the optimal budget allocation adaptive to different multi-task learning settings. Specifically, we estimate and then maximize the extent of new information obtained from the allocated budget as a proxy for multi-task learning performance. Experiments on PASCAL VOC and Taskonomy demonstrate the efficacy of our approach over other widely used heuristic labeling strategies.
• Abstract（参考訳）: データのラベル付けコストは、しばしば機械学習システムの性能を制限する。 マルチタスク学習では、関連するタスクが相互に情報を提供し、全体的なパフォーマンスを向上させるが、ラベルコストはタスクによって異なる。 ラベルの予算(すなわちラベルに費やした金額)は、最適なマルチタスクのパフォーマンスを達成するために、どのように割り当てるべきなのか? 我々は,マルチタスク学習におけるラベル予算配分問題を初めて提案し,正式に定義し,異なる予算配分戦略がその性能に大きな違いをもたらすことを実証的に示す。 異なるマルチタスク学習環境に適応した最適予算割当を頑健に生成するタスク適応予算割当アルゴリズムを提案する。 具体的には、マルチタスク学習性能のプロキシとして、割り当て予算から得られた新たな情報の範囲を推定し、最大化する。 PASCAL VOCとTaskonomyの実験は、他の広く使われているヒューリスティックなラベル付け戦略に対するアプローチの有効性を示した。

関連論文リスト

• Instruction Matters: A Simple yet Effective Task Selection for Optimized Instruction Tuning of Specific Tasks [51.15473776489712]
  本稿では,命令情報のみを利用してタスクを識別する,シンプルで効果的なタスク選択手法を提案する。 提案手法は,タスク間のペア転送可能性の複雑な測定や,対象タスクのためのデータサンプルの作成を必要とする従来の手法に比べて,はるかに効率的である。 実験の結果、命令のみに選択されたタスクセットのトレーニングにより、P3、Big-Bench、NIV2、Big-Bench Hardといったベンチマークのパフォーマンスが大幅に改善された。
  論文  参考訳（メタデータ） (2024-04-25T08:49:47Z)
• Task Selection and Assignment for Multi-modal Multi-task Dialogue Act Classification with Non-stationary Multi-armed Bandits [11.682678945754837]
  マルチタスク学習(MTL)は、関連する補助タスクと共同学習することで、一次タスクの性能を向上させることを目的としている。 これまでの研究では、このようなランダムなタスクの選択は役に立たない可能性があり、パフォーマンスに有害な可能性があることが示唆されている。 本稿では,非定常的マルチアームバンディットに基づくタスクの選択と割り当てを行う手法を提案する。
  論文  参考訳（メタデータ） (2023-09-18T14:51:51Z)
• Multi-Task Consistency for Active Learning [18.794331424921946]
  不整合に基づくアクティブラーニングは、アノテーションに対する情報的サンプルの選択に有効であることが証明されている。 本稿では,オブジェクト検出とセマンティックセグメンテーションという2つの複合視覚タスクのための,新しいマルチタスク能動学習戦略を提案する。 提案手法は、利用可能なデータのわずか67%を使用して、完全にトレーニングされたパフォーマンスの95%を達成している。
  論文  参考訳（メタデータ） (2023-06-21T17:34:31Z)
• How to Select Which Active Learning Strategy is Best Suited for Your Specific Problem and Budget [17.62242617965356]
  本稿では,予算の最適戦略を動的に識別する実用的な微分法を提案する。 次に,問題の特徴と利用可能な予算を考慮したAL戦略を動的に選択する手法を提案する。 その結果,様々な予算やコンピュータビジョンタスクにまたがるアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2023-06-06T09:44:56Z)
• Multi-Task Differential Privacy Under Distribution Skew [36.770164806995204]
  ユーザレベルの差分プライバシー下でのマルチタスク学習の課題について検討する。 問題の重要な側面の1つは、タスク間の分散スキューである。
  論文  参考訳（メタデータ） (2023-02-15T22:44:43Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• How to distribute data across tasks for meta-learning? [59.608652082495624]
  タスクごとのデータポイントの最適な数は予算に依存しますが、それは大きな予算のためのユニークな一定の値に収束します。 この結果から,データ収集の簡便かつ効率的な手順が示唆された。
  論文  参考訳（メタデータ） (2021-03-15T15:38:47Z)
• Multi-task Learning by Leveraging the Semantic Information [14.397128692867799]
  タスク間の意味的条件関係を探索し,マルチタスク学習におけるラベル情報の利用を提案する。 また,分析結果から,意味分布と協調してラベル分布の発散を制御する具体的アルゴリズムが導かれる。
  論文  参考訳（メタデータ） (2021-03-03T17:36:35Z)
• Small Towers Make Big Differences [59.243296878666285]
  マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
  論文  参考訳（メタデータ） (2020-08-13T10:45:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。