論文の概要: Learning from imperfect teachers for low-resource acoustic generalization
- arxiv url: http://arxiv.org/abs/2610.05256v1
- Date: Sun, 04 Oct 2026 14:30:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 22:15:21.923564
- Title: Learning from imperfect teachers for low-resource acoustic generalization
- Title（参考訳）: 低リソース音響一般化のための教師の不完全な学習
- Abstract要約: BA-MPD(Bundary-Anchored Mass-Partitioned Distillation)は、Bundary-Anchored Correction (BAC) とMass-Partitioned Distillation (MPD) を組み合わせたロジット式蒸留法である。
BACは、教師の最上位の予測セットの欠落に対処するため、実際のラベルをセットの最低ランクのエントリーに置き換え、セットの質量と不確実性は変わらない。
その後MPDは、この補正された分布を、集合内の関係一貫性を強制する別々の損失を通じて蒸留し、高信頼群と低信頼群の間の質量のバランスをとる。
- 参考スコア（独自算出の注目度）: 25.123107375853717
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge distillation (KD) improves low-resource acoustic learning by enriching one-hot supervision with the softened predictive distribution of a fixed teacher network. However, a teacher trained with limited or imbalanced annotations may produce a biased distribution whose components are not uniformly reliable. Although this distribution can still encode useful knowledge, direct full-distribution matching may also transfer teacher-induced biases, thereby distorting the student's decision boundary and degrading its generalization performance. To address this limitation, we propose Boundary-Anchored Mass-Partitioned Distillation (BA-MPD), a logit-based distillation objective composed of Boundary-Anchored Correction (BAC) and Mass-Partitioned Distillation (MPD). BAC addresses missing ground-truth labels in the set of the teacher's top predictions by swapping the true label for the lowest-ranked entry of the set, thus keeping the mass and uncertainty of the set unchanged. MPD then distills this corrected distribution through separate losses that enforce relational consistency within the set, balance the mass between high- and low-confidence groups, and weight lower-confidence dependencies. Ultimately, BAC and MPD together suppress harmful ranking errors and noisy low-confidence details, while retaining all useful teacher information. Experiments on two acoustic benchmarks under multiple label budgets show that BA-MPD consistently improves over supervised-learning baselines and vanilla KD while remaining competitive with strong logit-based KD baselines. Cross-budget results further show that BA-MPD remains effective when the teacher and student models use mismatched label budgets, demonstrating its ability to exploit imperfect teachers across supervision gaps. Implementation available at https://github.com/ShuanglinLi/BA-MPD.
- Abstract（参考訳）: 知識蒸留(KD)は,教師ネットワークのソフト化による教師ネットワークの予測分布による一流指導を充実させることにより,低リソースの音響学習を改善する。
しかし、限定的あるいは不均衡なアノテーションで訓練された教師は、一様信頼できないコンポーネントの偏りのある分布を生成する可能性がある。
この分布は有用な知識を符号化することができるが、直接分布マッチングは教師によるバイアスを伝達し、生徒の判断境界を歪め、一般化性能を低下させる。
この制限に対処するため, 境界式質量分割蒸留 (BA-MPD) を提案し, 境界式質量分割蒸留 (BAC) と質量分割蒸留 (MPD) を組み合わせたロジット式蒸留法を提案する。
BACは、教師の最上位の予測セットの欠落に対処するため、実際のラベルをセットの最低ランクのエントリーに置き換え、セットの質量と不確実性は変わらない。
その後、MPDは、この補正された分布を、集合内の関係一貫性を強制する別個の損失によって蒸留し、高信頼群と低信頼群の間の質量のバランスを保ち、低信頼依存性を重み付けする。
最終的にBACとMPDは、すべての有用な教師情報を保持しながら、有害なランキングエラーや低信頼度の詳細を抑える。
複数のラベル予算下での2つのアコースティックベンチマークの実験では、BA-MPDは、強いロジットベースのKDベースラインと競合しながら、教師付き学習ベースラインとバニラKDよりも一貫して改善されている。
さらに,教師モデルと学生モデルがミスマッチしたラベル予算を使用する場合,BA-MPDは依然として有効であり,教師の不完全な教師を監督ギャップを越えて活用する能力を示す。
実装はhttps://github.com/ShuanglinLi/BA-MPD.comで公開されている。
関連論文リスト
- Distilling What Matters: Confidence-Aware Selective Distillation for Large Language Models [22.98826013817833]
CaRE-KDは、静的な目的を不確実性適応最適化に置き換える、信頼性の高い蒸留フレームワークである。
本稿では,CaRE-KDが事前の静的発散を再現できない条件キャリブレーション機構をいかに誘導するかを示す。
ハイライトには、命令追従タスクの平均ROUGE-L$+3.2$、MBPPで$+2.1$pass@1、GSM8kで$+1.7$、CollegeMathで$+1.8$の精度がある。
論文 参考訳（メタデータ） (2026-09-29T05:07:47Z) - TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
強力な教師モデルから小さな学生への蒸留はギャップカースに面している。
教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。
本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
論文 参考訳（メタデータ） (2026-09-27T10:13:54Z) - CA-OPD: Confidence-Aware On-Policy Distillation for Structured Visual Prediction [12.346416465825627]
信頼できるオン・ポリシィ蒸留(CA-OPD)は、信頼性の高いロールアウト構築と適応的な監視を結合するフレームワークである。
GUIグラウンディングと光学文字認識のためのマルチ教師設定で評価され、CA-OPDはQwen3.5-0.8Bベースラインを大幅に改善する。
論文 参考訳（メタデータ） (2026-09-02T10:11:59Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Beyond Dark Knowledge: Mixup-Based Distillation for Reliable Predictions [4.672326975246762]
知識蒸留と混合はクラス境界における滑らかさの誘導に有効であることが証明されている。
彼らの相互作用は、特に学生のトレーニングでのみミキシングが適用される場合、よく理解されていない。
このミスマッチは,教師の指導信号が分散的混乱に支配されていることを示す。
論文 参考訳（メタデータ） (2026-06-10T14:59:26Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。
複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文 参考訳（メタデータ） (2026-05-13T09:20:03Z) - Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。
我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。
実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2026-04-21T01:22:35Z) - Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。
既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。
本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
論文 参考訳（メタデータ） (2026-02-26T00:20:39Z) - REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency [0.0]
本稿では、ロバスト統計に基づく原則化されたフレームワークであるREDistillを紹介する。
レディスティルは標準のKD目標をKL分散の一般化であるパワー分散損失に置き換える。
CIFAR-100 と ImageNet-1k の実験では、REDistill は多様な教師/学生アーキテクチャにおける生徒の精度を一貫して向上することを示した。
論文 参考訳（メタデータ） (2026-02-04T15:50:53Z) - Biased Teacher, Balanced Student [0.0]
Long-Tailed Knowledge Distillation (LTKD)は、クラス不均衡シナリオに適した新しいフレームワークである。
CIFAR-100-LT、TinyImageNet-LT、ImageNet-LTの実験は、LTKDが既存のKDメソッドより一貫して優れていることを示している。
論文 参考訳（メタデータ） (2025-06-23T10:46:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。