論文の概要: Boosting Supervised Learning Performance with Co-training

• arxiv url: http://arxiv.org/abs/2111.09797v1
• Date: Thu, 18 Nov 2021 17:01:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-19 17:26:30.618137
• Title: Boosting Supervised Learning Performance with Co-training
• Title（参考訳）: 協調学習による教師付き学習パフォーマンスの向上
• Authors: Xinnan Du, William Zhang, Jose M. Alvarez
• Abstract要約: 我々は,教師付き学習性能を最小限のコストで向上させることができる,軽量な自己教師付き学習フレームワークを提案する。 以上の結果から,両タスクとも教師付きタスクの精度が向上し,ドメイン適応能力が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 15.986635379046602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning perception models require a massive amount of labeled training data to achieve good performance. While unlabeled data is easy to acquire, the cost of labeling is prohibitive and could create a tremendous burden on companies or individuals. Recently, self-supervision has emerged as an alternative to leveraging unlabeled data. In this paper, we propose a new light-weight self-supervised learning framework that could boost supervised learning performance with minimum additional computation cost. Here, we introduce a simple and flexible multi-task co-training framework that integrates a self-supervised task into any supervised task. Our approach exploits pretext tasks to incur minimum compute and parameter overheads and minimal disruption to existing training pipelines. We demonstrate the effectiveness of our framework by using two self-supervised tasks, object detection and panoptic segmentation, on different perception models. Our results show that both self-supervised tasks can improve the accuracy of the supervised task and, at the same time, demonstrates strong domain adaption capability when used with additional unlabeled data.
• Abstract（参考訳）: ディープラーニングの知覚モデルは、優れたパフォーマンスを達成するために大量のラベル付きトレーニングデータを必要とする。 ラベルのないデータは簡単に取得できるが、ラベリングのコストは禁じられ、企業や個人にとって大きな負担になる可能性がある。 近年,ラベルのないデータを活用する代替手段として自己スーパービジョンが登場している。 本稿では,教師付き学習性能を最小限の計算コストで向上させることができる,軽量な自己教師付き学習フレームワークを提案する。 本稿では,任意の教師付きタスクに自己教師付きタスクを統合する,単純で柔軟なマルチタスク協調学習フレームワークを提案する。 提案手法では,プリテキストタスクを利用して最小計算量とパラメータのオーバーヘッドを発生させ,既存のトレーニングパイプラインに最小限のディスラプションを与える。 本研究では,2つの自己教師型タスク,物体検出と汎視的セグメンテーションを用いて,異なる知覚モデル上でのフレームワークの有効性を示す。 以上の結果から,両タスクとも教師付きタスクの精度が向上すると同時に,追加のラベル付きデータを用いた場合のドメイン適応能力も向上することが示唆された。

関連論文リスト

• Guiding Through Complexity: What Makes Good Supervision for Hard Reasoning Tasks? [74.88417042125985]
  複雑さの異なるタスクにおいて、様々な品質レベルで監視データを提供する様々なデータ駆動戦略について検討する。 ハードタスクの監視における結果エラー率が高い場合でも、そのようなデータによるトレーニングは、より簡単なサブタスクの監督を完璧に上回ります。 また,本研究の結果から,タスク・インスペクションとサブタスク・インスペクションを補完することで,顕著なパフォーマンス向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-10-27T17:55:27Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Functional Knowledge Transfer with Self-supervised Representation Learning [11.566644244783305]
  本研究では,機能的知識伝達の方向における自己指導型表現学習の未探索ユーザビリティについて検討する。 本研究では,自己教師型学習課題と教師型学習課題の協調最適化により,機能的知識伝達を実現する。
  論文  参考訳（メタデータ） (2023-03-12T21:14:59Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Reducing Label Effort: Self-Supervised meets Active Learning [32.4747118398236]
  自己学習の最近の進歩は、いくつかのデータセットで教師付き学習に匹敵する非常に印象的な成果を上げている。 実験の結果, 自己学習は, ラベル付け作業の削減において, 積極的学習よりも極めて効率的であることが判明した。 自己学習またはスクラッチでトレーニングされたアクティブラーニングのパフォーマンスギャップは、データセットのほぼ半分がラベル付けされた時点に近づくにつれて減少します。
  論文  参考訳（メタデータ） (2021-08-25T20:04:44Z)
• Continual Learning From Unlabeled Data Via Deep Clustering [7.704949298975352]
  継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。 クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-14T23:46:17Z)
• Self-supervised driven consistency training for annotation efficient histopathology image analysis [13.005873872821066]
  大きなラベル付きデータセットでニューラルネットワークをトレーニングすることは、計算病理学において依然として支配的なパラダイムである。 本研究では,非教師付き表現学習のための強力な監視信号を学ぶために,ヒストロジ全体スライディング画像の背景となる多段階的文脈的手がかりを利用する自己教師付きプレテキストタスクを提案する。 また,タスク固有の未ラベルデータとの予測整合性に基づいて,事前学習した表現を下流タスクに効果的に転送することを学ぶ教師による半教師付き一貫性パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T19:46:21Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Improving Semantic Segmentation via Self-Training [75.07114899941095]
  半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。 まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。 私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。