論文の概要: Label Smoothing in Disguise? Gated Knowledge Distillation for Low-Resource Bangla Generation
- arxiv url: http://arxiv.org/abs/2611.01065v1
- Date: Sat, 31 Oct 2026 16:01:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.448107
- Title: Label Smoothing in Disguise? Gated Knowledge Distillation for Low-Resource Bangla Generation
- Title（参考訳）: ディフューズにおけるラベルの平滑化 : 低資源バングラ生成のためのGated Knowledge Distillation
- Abstract要約: 高度な知識蒸留は、教師の信号がトークンや例によって重くなり、信頼できない教師を信頼することを目的としている。
EWAD (Entropy-weighted Agreement-aware distillation) とCHAD (counterfactual harm-aware distillation) の2つのゲートを検証した。
またKDは、40回のシングルシード比較や4回の3回のランニングで、金のアウトプットのクロスエントロピーの微調整を達成できなかった。
- 参考スコア（独自算出の注目度）: 0.3227658251731014
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gated knowledge distillation (KD) weights teacher signals per token or example, aiming to trust an imperfect teacher only where it seems reliable. We test two gates: EWAD (entropy-weighted agreement-aware distillation), which gates tokens by teacher confidence, and CHAD (counterfactual harm-aware distillation), which gates examples by gradient alignment with validation data. Across six Bangla-centric tasks, three student models (60M to about 2B parameters), and two teacher families, no gate significantly improves plain KD in 45 comparisons. KD also fails to beat cross-entropy (CE) fine-tuning on gold outputs in 40 single-seed comparisons or three-seed runs on four tasks; CE leads on every summarisation metric. The main benefit of KD is regularisation: over ten fixed epochs, CE students lose 0.030 to 0.044 token-F1 from their early-stopped checkpoint, versus 0.005 to 0.025 for distilled students. Teacher-free label smoothing closes most of this gap. In one comparison, a teacher 0.29 token-F1 worse yields students at most 0.009 worse. Thus, gating may change regularisation strength but has little teacher knowledge to select. Findings are limited to Bangla-centric tasks and small students. We will release code, data splits, predictions, and scores.
- Abstract（参考訳）: ゲーテッド・ナレッジ・蒸留(KD)は、信頼できない教師を信頼することを目的として、トークンや例ごとの教師信号の重み付けを行う。
EWAD (Entropy-weighted Agreement-aware distillation) とCHAD (counterfactual harm-aware distillation) の2つのゲートを検証した。
6つのバングラ中心のタスク、3つの学生モデル(60Mから約2Bパラメータ)と2つの教師ファミリーで、45の比較では、門は通常のKDを大幅に改善する。
また、KDは4つのタスクで40のシングルシード比較または3シード実行で金の出力をクロスエントロピー(CE)の微調整に打ち勝つことができず、CEはすべての要約基準を導いた。
KDの主な利点は規則化である:10以上の固定エポックでは、CEの学生は早期のチェックポイントから0.030から0.044トークンF1を失うが、蒸留された学生は0.005から0.025に減少する。
教師なしのラベルスムース化は、このギャップの大部分を埋める。
1つの比較では、教師 0.29 トークン-F1 は生徒を 0.009 より悪くする。
したがって、ゲーティングは正規化の強さを変えるかもしれないが、選択する教師の知識はほとんどない。
発見はバングラ中心の課題と小学生に限られている。
コード、データ分割、予測、スコアをリリースします。
関連論文リスト
- How Much Do Teacher Bridges Matter in Interleaved On-Policy Distillation? [1.9484496199458554]
いくつかのメソッドは教師が書いたセグメントやブリッジを挿入するが、それらのトークンのトレーニング方法には同意しない。
我々は,学生としてQwen3-1.7B,教師としてQwen3-4B-Instruct-2507を用いて同一軌道上の損失,前方KL,逆KLを比較した。
論文 参考訳（メタデータ） (2026-10-28T07:19:32Z) - DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation [50.43969311607643]
DMAD, Distribution Matching as Adversarial Distillationを導入し, 分布マッチングを分類として再放送する。
判別器では,これらの損失が分布マッチングの基礎となるDMDを回復することを示す。
DMADはFréchet Inception Distance (FID) 1.04、ImageNet-64x64 14.47、COCO-10Kの4ステップSDXL、VBenchの合計スコアは85.15、Wan2.1-T2V-14Bである。
論文 参考訳（メタデータ） (2026-10-01T17:59:01Z) - Learning Beyond Full Imitation: Task-Preserving Knowledge Distillation [25.566171845063483]
知識蒸留は、教師の予測クラス確率に適合するように学生に促すことによって知識を伝達する。
生徒は、既に教師よりもより鋭い正しいクラスを区別している可能性があるので、さらに模倣するためには、取得した差別を返さなければならない。
私たちの主な成果は、完全な模倣と条件学習の正確な分離です。
論文 参考訳（メタデータ） (2026-09-30T09:06:05Z) - Unknown-Traffic Detection, Calibration and Shortcut Reliance in Distilled Encrypted-Traffic Classifiers over One Year [0.3384279376065155]
私たちは、他の生徒が教師から受け継いだものについて尋ねる。
私たちはCESNET-TLS-Year22で10の仮説をテストしました。
論文 参考訳（メタデータ） (2026-09-25T11:32:00Z) - When Does Knowledge Distillation Hurt? Reliability-Aware Distillation for Low-Resource Language Summarization [0.270366062356502]
知識蒸留(KD)は、シーケンス・ツー・シーケンスモデルを圧縮するための標準的な手法である。
標準KDはROUGE-Lをクロスエントロピーベースライン上で0.0003だけ改善する。
トレーニングサンプルの約51.3%は、標準KDの学生の検証損失に積極的に影響すると見積もられている。
本稿では,2つの相補的信頼性を考慮した蒸留法を提案する。
論文 参考訳（メタデータ） (2026-07-22T09:32:28Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - The Bridge-Garden Dilemma in LLM Distillation: Why Mixing Hard and Soft Labels Works [84.74671323132492]
硬質ラベルと軟質ラベルの混在が常により良い結果をもたらすことを示す。
これは露光バイアスの低減、トレーニングと推論の分布のミスマッチに起因する。
我々はブリッジ-ガーデンハイブリッド監視手法のファミリーを開発する。
論文 参考訳（メタデータ） (2026-05-25T18:12:54Z) - X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation [19.064775527374618]
クロストケナイザーの知識蒸留により、学生モデルは語彙を持つ教師から学ぶことができる。
ログベースの手法は正しい確率のみを使用し、教師の分布に完全な「暗黒の知識」を欠いている。
本稿では,これらの問題を対象とした2つの相補的損失定式化手法であるX-Tokenを提案する。
論文 参考訳（メタデータ） (2026-05-20T19:59:31Z) - Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。
我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。
実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2026-04-21T01:22:35Z) - Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。
従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。
このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
論文 参考訳（メタデータ） (2022-11-27T05:14:03Z) - Reducing the Teacher-Student Gap via Spherical Knowledge Disitllation [67.75526580926149]
知識蒸留は、はるかに大きなものから写像関数を学習することにより、コンパクトで効果的なモデルを得ることを目的としている。
本研究では,教師と学生の信頼のギャップを調査し,容量ギャップ問題について検討する。
知識蒸留には信頼度は必要とせず,学生が自信を習得せざるを得ない場合には,学生のパフォーマンスを損なう可能性がある。
論文 参考訳（メタデータ） (2020-10-15T03:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。