論文の概要: Flipped Classroom: Aligning Teacher Attention with Student in Generalized Category Discovery

• arxiv url: http://arxiv.org/abs/2409.19659v1
• Date: Sun, 29 Sep 2024 11:12:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:04:13.790522
• Title: Flipped Classroom: Aligning Teacher Attention with Student in Generalized Category Discovery
• Title（参考訳）: Flipped Classroom:一般カテゴリー発見における教師の意識調整
• Authors: Haonan Lin, Wenbin An, Jiahao Wang, Yan Chen, Feng Tian, Mengmeng Wang, Guang Dai, Qianying Wang, Jingdong Wang,
• Abstract要約: GCD(Generalized Category Discovery)は、教師が生徒に知識を与えてカテゴリーを分類する、教師/学生の枠組みである。 GCDは独特な課題、特に新しい授業の事前の欠如を示しており、教師の誤認と学生との非同期学習に繋がる可能性がある。 静的な教師参照を維持するのではなく,教師の注意に合わせるように動的に更新するFlipClassを導入する。
• 参考スコア（独自算出の注目度）: 37.81825377491515
• License:
• Abstract: Recent advancements have shown promise in applying traditional Semi-Supervised Learning strategies to the task of Generalized Category Discovery (GCD). Typically, this involves a teacher-student framework in which the teacher imparts knowledge to the student to classify categories, even in the absence of explicit labels. Nevertheless, GCD presents unique challenges, particularly the absence of priors for new classes, which can lead to the teacher's misguidance and unsynchronized learning with the student, culminating in suboptimal outcomes. In our work, we delve into why traditional teacher-student designs falter in open-world generalized category discovery as compared to their success in closed-world semi-supervised learning. We identify inconsistent pattern learning across attention layers as the crux of this issue and introduce FlipClass, a method that dynamically updates the teacher to align with the student's attention, instead of maintaining a static teacher reference. Our teacher-student attention alignment strategy refines the teacher's focus based on student feedback from an energy perspective, promoting consistent pattern recognition and synchronized learning across old and new classes. Extensive experiments on a spectrum of benchmarks affirm that FlipClass significantly surpasses contemporary GCD methods, establishing new standards for the field.
• Abstract（参考訳）: 近年の進歩は、一般カテゴリー発見(Generalized Category Discovery, GCD)の課題に、従来の半教師付き学習戦略を適用することを約束している。 典型的には、明示的なラベルがなくても、教師が生徒に知識を与えてカテゴリーを分類する、教師教育の枠組みである。 にもかかわらず、GCDは、特に新しい授業の事前の欠如に固有の課題を示しており、これは教師が生徒と非同期学習をし、最適でない結果をもたらすことになる。 本稿では,従来の教師学生デザインが,閉世界半教師学習の成功と比較して,オープンワールドの一般化されたカテゴリー発見に影響を及ぼす理由を考察する。 注意層間の不整合パターン学習をこの問題の要点として認識し,静的な教師参照を維持するのではなく,教師の注意に合わせるように動的に更新するFlipClassを導入する。 教師が注目するアライメント戦略は、エネルギー的視点から学生のフィードバックに基づいて、教師の焦点を洗練させ、一貫したパターン認識と新旧クラス間の同期学習を促進する。 FlipClassは現在のGCD法を大幅に超え、この分野の新たな標準を確立している。

関連論文リスト

• Why does Knowledge Distillation Work? Rethink its Attention and Fidelity Mechanism [8.322293031346161]
  パラドキカルな研究は、教師の行動を忠実に再現することは、生徒の一般化を一貫して改善しないことを示している。 我々は,この低忠実度現象を,KD訓練時の病理学よりも基礎的な特徴として提案する。
  論文  参考訳（メタデータ） (2024-04-30T01:12:32Z)
• Co-Supervised Learning: Improving Weak-to-Strong Generalization with Hierarchical Mixture of Experts [81.37287967870589]
  我々は,一貫した生徒を統括する,一貫した一貫した教師ではなく,多様な専門教師の集合を活用することを提案する。 我々のアプローチは、古典的な階層的な専門家の混合に似ている。 提案手法は,OpenAIの弱強ベンチマークと追加のマルチドメインデータセットを用いて,視覚認識タスクにより検証する。
  論文  参考訳（メタデータ） (2024-02-23T18:56:11Z)
• Switching Temporary Teachers for Semi-Supervised Semantic Segmentation [45.20519672287495]
  半教師付きセマンティックセグメンテーションで一般的な教師/学生のフレームワークは、主に指数的移動平均(EMA)を用いて、学生の量に基づいて教師の重みを更新する。 本稿では,学生のカップリング問題を軽減するために,2つの臨時教員を兼ねた,シンプルで効果的な方法であるデュアル教師を紹介する。
  論文  参考訳（メタデータ） (2023-10-28T08:49:16Z)
• Contrastive Knowledge Amalgamation for Unsupervised Image Classification [2.6392087010521728]
  Contrastive Knowledge Amalgamation (CKA) は、複数の教師モデルから協調目的を扱うためのコンパクトな学生モデルを学ぶことを目的としている。 クラス内モデルとクラス間モデルとの対比損失は、異なるクラスの表現間の距離を拡大するように設計されている。 このアライメント損失は、共通表現空間における教師/学生モデルのサンプルレベルの分布差を最小限に抑えるために導入された。
  論文  参考訳（メタデータ） (2023-07-27T11:21:14Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
  よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。 知識蒸留は教師から知識を抽出し、対象モデルと統合する。 教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
  論文  参考訳（メタデータ） (2022-05-04T06:49:47Z)
• Self-Training with Differentiable Teacher [80.62757989797095]
  自己学習は、様々な半教師付きおよび弱教師付き学習タスクで大きな成功を収める。 この手法は、教師が擬似ラベルを生成し、生徒が予測を行う教師学生の枠組みとして解釈できる。 そこで我々は,教師学生をStackelbergゲームとして扱う,差別化可能な自己学習法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T02:06:13Z)
• Temporal Knowledge Consistency for Unsupervised Visual Representation Learning [10.461486621654556]
  まず、インスタンスの時間的一貫性を現在のインスタンス識別パラダイムに統合し、TKC(Temporal Knowledge Consistency)という新しい強力なアルゴリズムを提案する。 我々のTKCは、時間的教師の知識を動的にアンサンブルし、時間的整合性を学ぶことの重要性に応じて有用な情報を適応的に選択する。 実験の結果,TKCは線形評価プロトコル上でResNetとAlexNetの両方の視覚表現を学習できることがわかった。
  論文  参考訳（メタデータ） (2021-08-24T12:14:13Z)
• Neural Multi-Task Learning for Teacher Question Detection in Online Classrooms [50.19997675066203]
  教師の音声記録から質問を自動的に検出するエンドツーエンドのニューラルネットワークフレームワークを構築している。 マルチタスク学習手法を取り入れることで,質問の種類によって意味的関係の理解を深めることが可能となる。
  論文  参考訳（メタデータ） (2020-05-16T02:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。