論文の概要: Self-Training and Multi-Task Learning for Limited Data: Evaluation Study on Object Detection

• arxiv url: http://arxiv.org/abs/2309.06288v1
• Date: Tue, 12 Sep 2023 14:50:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 12:32:41.729673
• Title: Self-Training and Multi-Task Learning for Limited Data: Evaluation Study on Object Detection
• Title（参考訳）: 限られたデータに対する自己学習とマルチタスク学習:物体検出に関する評価研究
• Authors: Ho\`ang-\^An L\^e and Minh-Tan Pham
• Abstract要約: 実験結果から,マルチタスク学生の学習に不明瞭なデータを持つ弱教師を用いた場合のパフォーマンス向上が示唆された。 限られた設定にもかかわらず、実験結果はマルチタスクの知識蒸留と自己学習の可能性を示していると信じている。
• 参考スコア（独自算出の注目度）: 4.9914667450658925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-training allows a network to learn from the predictions of a more complicated model, thus often requires well-trained teacher models and mixture of teacher-student data while multi-task learning jointly optimizes different targets to learn salient interrelationship and requires multi-task annotations for each training example. These frameworks, despite being particularly data demanding have potentials for data exploitation if such assumptions can be relaxed. In this paper, we compare self-training object detection under the deficiency of teacher training data where students are trained on unseen examples by the teacher, and multi-task learning with partially annotated data, i.e. single-task annotation per training example. Both scenarios have their own limitation but potentially helpful with limited annotated data. Experimental results show the improvement of performance when using a weak teacher with unseen data for training a multi-task student. Despite the limited setup we believe the experimental results show the potential of multi-task knowledge distillation and self-training, which could be beneficial for future study. Source code is at https://lhoangan.github.io/multas.
• Abstract（参考訳）: セルフトレーニングは、ネットワークがより複雑なモデルの予測から学ぶことを可能にするため、教師が訓練したモデルと教師が学習するデータの混合を必要とする場合が多く、マルチタスク学習は、異なるターゲットを協調して最適化し、サルエントな相互関係を学習し、各トレーニング例にマルチタスクアノテーションを必要とする。 これらのフレームワークは、特にデータ要求にもかかわらず、そのような仮定を緩和できるなら、データ搾取の可能性を持っている。 本稿では,教師による見知らぬ事例を学習する教師訓練データ不足下での自己学習対象検出と,一部注釈付きデータを用いたマルチタスク学習,すなわちトレーニング毎の単一タスクアノテーションとを比較した。 どちらのシナリオも独自の制限があるが、アノテーション付きデータに制限がある可能性がある。 実験結果から,マルチタスク学生の学習に不明瞭なデータを持つ弱教師を用いた場合のパフォーマンス向上が示された。 限られたセットアップにもかかわらず、実験結果はマルチタスクの知識の蒸留と自己学習の可能性を示しており、将来の研究に有益かもしれない。 ソースコードはhttps://lhoangan.github.io/multas。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Exploring intra-task relations to improve meta-learning algorithms [1.223779595809275]
  我々は,タスクの効果的なミニバッチによるトレーニング安定性向上のために,タスク関係の外部知識を活用することを目的としている。 ミニバッチでタスクの多様なセットを選択すると、完全な勾配がより良く見積もられるため、トレーニングにおけるノイズの低減につながる、という仮説を立てる。
  論文  参考訳（メタデータ） (2023-12-27T15:33:52Z)
• Data exploitation: multi-task learning of object detection and semantic segmentation on partially annotated data [4.9914667450658925]
  本稿では,物体検出とセマンティックセグメンテーションの併用学習について検討する。 本稿では,共同タスク最適化の活用を目的とした知識蒸留手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T14:49:54Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Unified Demonstration Retriever for In-Context Learning [56.06473069923567]
  Unified Demonstration Retriever (textbfUDR)は、幅広いタスクのデモを検索する単一のモデルである。 我々は,高品質な候補を見つけるための反復的なマイニング戦略を備えたマルチタスクリストワイド・トレーニング・フレームワークを提案する。 13のタスクファミリーと複数のデータドメインにわたる30以上のタスクの実験は、UDRがベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2023-05-07T16:07:11Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Multi-Task Self-Training for Learning General Representations [97.01728635294879]
  マルチタスク・セルフトレーニング(MuST)は、独立した専門教師モデルにおける知識を活用して、一人の一般学生モデルを訓練する。 MuSTはラベルなしまたは部分的にラベル付けされたデータセットでスケーラブルで、大規模データセットのトレーニングにおいて、特別な教師付きモデルとセルフ教師付きモデルの両方を上回っている。
  論文  参考訳（メタデータ） (2021-08-25T17:20:50Z)
• Label-Efficient Multi-Task Segmentation using Contrastive Learning [0.966840768820136]
  比較学習に基づくサブタスクを用いたマルチタスクセグメンテーションモデルを提案し、その性能を他のマルチタスクモデルと比較する。 提案手法は,アノテートデータの量に制限がある場合に,最先端の完全教師付きモデルを含む他のマルチタスク手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-23T14:12:17Z)
• Temporally Correlated Task Scheduling for Sequence Learning [143.70523777803723]
  多くのアプリケーションにおいて、シーケンス学習タスクは通常、複数の時間的に相関した補助タスクと関連付けられている。 シーケンス学習に学習可能なスケジューラを導入し、トレーニングのための補助的なタスクを適応的に選択できる。 本手法は,同時翻訳とストックトレンド予測の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-07-10T10:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。