論文の概要: Heuristic-Free Multi-Teacher Learning

• arxiv url: http://arxiv.org/abs/2411.12724v1
• Date: Tue, 19 Nov 2024 18:45:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:38:22.436070
• Title: Heuristic-Free Multi-Teacher Learning
• Title（参考訳）: ヒューリスティックフリーマルチ教師学習
• Authors: Huy Thong Nguyen, En-Hung Chu, Lenord Melvix, Jazon Jiao, Chunglin Wen, Benjamin Louie,
• Abstract要約: Teacher2Taskは、手動のアグリゲーションを不要にする、マルチ先生学習のための新しいフレームワークである。 集約されたラベルに頼る代わりに、このフレームワークは、Nの教師による基礎的な真理ラベルとアノテーションからなるトレーニングデータをN+1の異なるタスクに変換する。
• 参考スコア（独自算出の注目度）: 0.6597195879147557
• License:
• Abstract: We introduce Teacher2Task, a novel framework for multi-teacher learning that eliminates the need for manual aggregation heuristics. Existing multi-teacher methods typically rely on such heuristics to combine predictions from multiple teachers, often resulting in sub-optimal aggregated labels and the propagation of aggregation errors. Teacher2Task addresses these limitations by introducing teacher-specific input tokens and reformulating the training process. Instead of relying on aggregated labels, the framework transforms the training data, consisting of ground truth labels and annotations from N teachers, into N+1 distinct tasks: N auxiliary tasks that predict the labeling styles of the N individual teachers, and one primary task that focuses on the ground truth labels. This approach, drawing upon principles from multiple learning paradigms, demonstrates strong empirical results across a range of architectures, modalities, and tasks.
• Abstract（参考訳）: 手動集約ヒューリスティックスの必要性を排除した,多教師学習のための新しいフレームワークであるTeacher2Taskを紹介した。 既存のマルチ教師手法は、複数の教師からの予測を組み合わせ、しばしば準最適集約ラベルと集約エラーの伝播をもたらすように、そのようなヒューリスティックに頼っている。 Teacher2Taskは、教師固有の入力トークンを導入し、トレーニングプロセスを変更することで、これらの制限に対処する。 集約されたラベルに頼る代わりに、このフレームワークは、N教師からの基底真理ラベルとアノテーションからなるトレーニングデータをN+1タスクに変換する。 このアプローチは、複数の学習パラダイムの原則に基づいて、さまざまなアーキテクチャ、モダリティ、タスクにまたがる強力な経験的な結果を示す。

関連論文リスト

• Combining Supervised Learning and Reinforcement Learning for Multi-Label Classification Tasks with Partial Labels [27.53399899573121]
  本稿では,強化学習の探索能力と教師あり学習の活用能力を組み合わせたRLベースのフレームワークを提案する。 文書レベルの関係抽出を含む各種タスクに対する実験結果から,フレームワークの一般化と有効性を示す。
  論文  参考訳（メタデータ） (2024-06-24T03:36:19Z)
• Joint-Task Regularization for Partially Labeled Multi-Task Learning [30.823282043129552]
  機械学習分野ではマルチタスク学習がますます人気になっているが、その実用性は大規模ラベル付きデータセットの必要性によって妨げられている。 本稿では, クロスタスク関係を利用して, 全タスクを1つのジョイントタスク潜在空間で同時に正規化する直感的手法であるジョイントタスク正規化(JTR)を提案する。
  論文  参考訳（メタデータ） (2024-04-02T14:16:59Z)
• Nonparametric Teaching for Multiple Learners [20.75580803325611]
  MINT(Multi-learner Nonparametric teaching)を導入した新しいフレームワークについて紹介する。 MINTは、複数の学習者を指導することを目的としており、各学習者はスカラー値のターゲットモデルを学習することに集中している。 我々は,MINTがシングルラーナー教育を繰り返すよりも指導のスピードアップが優れていることを実証した。
  論文  参考訳（メタデータ） (2023-11-17T04:04:11Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Active Teacher for Semi-Supervised Object Detection [80.10937030195228]
  半教師対象検出(SSOD)のための能動教師と呼ばれる新しいアルゴリズムを提案する。 Active Teacherは、教師/学生のフレームワークを反復的なバージョンに拡張し、ラベルセットを部分的に段階的に拡張し、ラベルなし例の3つの重要な要素を評価する。 この設計により、Active Teacherは、擬似ラベルの品質を改善しながら、限られたラベル情報の効果を最大化することができる。
  論文  参考訳（メタデータ） (2023-03-15T03:59:27Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Multi-Task Self-Training for Learning General Representations [97.01728635294879]
  マルチタスク・セルフトレーニング(MuST)は、独立した専門教師モデルにおける知識を活用して、一人の一般学生モデルを訓練する。 MuSTはラベルなしまたは部分的にラベル付けされたデータセットでスケーラブルで、大規模データセットのトレーニングにおいて、特別な教師付きモデルとセルフ教師付きモデルの両方を上回っている。
  論文  参考訳（メタデータ） (2021-08-25T17:20:50Z)
• Representation Consolidation for Training Expert Students [54.90754502493968]
  マルチヘッド多タスク蒸留法は,タスク固有の教師の表現を集約し,下流のパフォーマンスを向上させるのに十分であることを示す。 また,本手法では,複数のドメインで訓練された複数の教師の表現的知識を1つのモデルに組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-16T17:58:18Z)
• Graph Consistency based Mean-Teaching for Unsupervised Domain Adaptive Person Re-Identification [54.58165777717885]
  本論文では,教師ネットワークと学生ネットワークの間にGCC(Graph Consistency Constraint)を構築するためのGCMT(Graph Consistency Based Mean-Teaching)手法を提案する。 マーケット-1501、デュークMTMCreID、MSMT17の3つのデータセットの実験により、提案されたGCMTは最先端の手法よりも明確なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-05-11T04:09:49Z)
• Adaptive Multi-Teacher Multi-level Knowledge Distillation [11.722728148523366]
  適応型多段階知識蒸留学習フレームワーク(AMTML-KD)を提案する。 i)各教師と潜在表現を関連付けて、インスタンスレベルの教師の重要性の重みを適応的に学習する。 そのため、学生モデルはAMMTML-KDを介して複数の教師から多レベルの知識を学ぶことができます。
  論文  参考訳（メタデータ） (2021-03-06T08:18:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。