論文の概要: Decoupled Optimization for Teacher-Student Semi-Supervised Learning via a Pioneer Student

• arxiv url: http://arxiv.org/abs/2610.09609v1
• Date: Wed, 07 Oct 2026 07:54:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.781158
• Title: Decoupled Optimization for Teacher-Student Semi-Supervised Learning via a Pioneer Student
• Title（参考訳）: ピオニア学生による教師の半教師学習における非結合的最適化
• Abstract要約: 半教師付き学習(SSL)はT-Student(T-S)フレームワークによる自己学習とラベル付きとラベルなしの損失の共同最適化という2つのコアメカニズムに依存している。 その効果にもかかわらず、どちらのメカニズムも異なる最適化手法を導入している。 本稿では,独立したパラメータ空間で動作し,蓄積した知識をT-Sモデルに定期的に転送する補助的ブランチであるPioneer Students(PiS)を提案する。
• 参考スコア（独自算出の注目度）: 5.144809478361604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-supervised learning (SSL) relies on two core mechanisms: self-training under the Teacher-Student (T-S) framework and joint optimization of labeled and unlabeled losses. Despite their effectiveness, we find both mechanisms introduce distinct optimization pathologies. First, parameter coupling enforces strict synchronization between teacher and student, where strong regularization on the student degrades the teacher's fitting ability, thereby limiting the permissible generalization intensity. Second, the imbalance in gradient update consistency between labeled and unlabeled losses drives the shared parameters to prematurely converge to labeled-dominated local minima, creating a bottleneck for global optimization. To address both issues, we propose the Pioneer Student (PiS), an auxiliary branch that operates in an independent parameter space and periodically transfers accumulated knowledge back to the T-S model. Extensive experiments show that PiS is a universal plug-and-play module that consistently improves mainstream SSL methods.
• Abstract（参考訳）: 半教師付き学習(SSL)はT-Student(T-S)フレームワークによる自己学習とラベル付きとラベルなしの損失の共同最適化という2つのコアメカニズムに依存している。 その効果にもかかわらず、どちらのメカニズムも異なる最適化手法を導入している。 第一に、パラメータ結合は教師と生徒の厳密な同期を強制し、生徒の強い正規化は教師の適合能力を低下させ、許容される一般化強度を制限する。 第二に、ラベル付き損失とラベルなし損失の間の勾配更新一貫性の不均衡は、共有パラメータを早期にラベル付き局所最小値に収束させ、グローバル最適化のボトルネックを生み出す。 両問題に対処するために,独立したパラメータ空間で動作し,蓄積した知識をT-Sモデルに定期的に転送する補助的ブランチであるPioneer Students (PiS)を提案する。 大規模な実験によると、PiSは一般的なプラグイン・アンド・プレイモジュールであり、SSLメソッドを一貫して改善している。

関連論文リスト

• Towards Unbiased On-Policy Distillation for Block Diffusion Language Models [60.72199728386045]
  教師と学生のミスマッチブロック境界がtextbftextitcontext の誤認識を引き起こすことを示す。 OPD のtextbftextitintrinsic 最適化バイアスは、破滅的な過信の崩壊に弱い学生を罠にかける、早急に自信の急上昇を引き起こす。 そこで本稿では,BDLMトレーニングを安定化させるための新しい2つの枠組みを持つ非バイアスのオンライン蒸留フレームワークであるmboxtextbfUn-OPDを提案する。
  論文  参考訳（メタデータ） (2026-10-04T17:00:16Z)
• TALAS: Teacher-Anchored Layer Alignment with Adaptive Sharpness-Aware Minimization for Embedding Distillation [36.1350835884832]
  TALASは階層的(複数層)アライメントと堅牢な最適化を相乗化する統合フレームワークである。 まず,学習者の上層層にのみ最終文の埋め込みを蒸留する教師支援機構を導入する。 第2に、レイヤ指向の自己蒸留を通じて下位層のセマンティックギャップをブリッジし、知識をトップダウンで伝達する。 第3に、適応シャープネス認識最小化(ASAM)をトレーニング目標に統合し、モデルをフラットミニマへ誘導して一般化を強化する。
  論文  参考訳（メタデータ） (2026-06-20T03:17:29Z)
• AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
  スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。 トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。 AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
  論文  参考訳（メタデータ） (2025-10-09T06:38:37Z)
• CoDTS: Enhancing Sparsely Supervised Collaborative Perception with a Dual Teacher-Student Framework [15.538850922083652]
  我々は,CoDTS(Dual Teacher-Student framework)のエンドツーエンド協調認識を提案する。 適応的な補完学習を用いて、高品質な擬似ラベルと高品質な擬似ラベルの両方を生成する。 CoDTSは、品質と量の両方において、擬似ラベルの最適バランスを効果的に保証する。
  論文  参考訳（メタデータ） (2024-12-11T12:34:37Z)
• Collaborative Static-Dynamic Teaching: A Semi-Supervised Framework for Stripe-Like Space Target Detection [2.9133687889451023]
  Stripeのような宇宙ターゲット検出は、宇宙の状況認識に不可欠である。 従来の教師なし手法は、低信号対雑音比と可変ストライプのような空間ターゲットシナリオで失敗することが多い。 我々は,静的および動的教師モデルと学生モデルを含む,革新的な協調静的動的教師(CSDT)SSLフレームワークを導入する。 また,マルチスケールデュアルパス畳み込み(MDPC)ブロックと特徴マップ重み付き注目(FMWA)ブロックを備えた新しいSSTDネットワークであるMSSA-Netを提案する。
  論文  参考訳（メタデータ） (2024-08-09T12:33:27Z)
• Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
  我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。 我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
  論文  参考訳（メタデータ） (2023-07-05T13:52:10Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation [70.2166826794421]
  本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。 また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。 我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
  論文  参考訳（メタデータ） (2022-03-05T17:36:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。