論文の概要: Do Student LLMs Inherit OOD Robustness? Invariance-Weighted Distillation for Reliable Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2609.22566v1
• Date: Fri, 18 Sep 2026 20:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.461195
• Title: Do Student LLMs Inherit OOD Robustness? Invariance-Weighted Distillation for Reliable Knowledge Transfer
• Title（参考訳）: 学生のLDMはOODロバスト性を引き継ぐか? 信頼性の高い知識伝達のための不変量蒸留
• Abstract要約: Invariance-Weighted Distillation (IWD) は教師の因果関係を推定してトレーニングサンプルを動的に再重み付けする。 IWDの摂動は、コアセマンティクスを保ちながら、教師の予測が不変であるサンプルにより高い蒸留重量を割り当てる急激な手がかりとなる。 IWDは、OOD評価において強力なKDベースラインを一貫して上回り、競争力のあるID(In-distriion)性能を維持している。
• 参考スコア（独自算出の注目度）: 7.391676722216757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation (KD) aims to compress high-performance teacher LLMs into lightweight students. However, distilled students often exhibit substantial performance degradation in out-of-distribution (OOD) settings, a critical gap that remains underexplored. We identify two compounding mechanisms causing OOD performance degradation: (1) data spuriousness: students can learn spurious correlations in the distillation dataset over genuine causal relationships; and (2) teacher capability: standard KD treats all samples uniformly, ignoring whether the teacher is guided by causal features or misled by spurious shortcuts on a given sample. To address these challenges, we propose Invariance-Weighted Distillation (IWD), a theoretically grounded framework that dynamically reweights training samples using an estimate of the teacher's causal reliance derived from prediction invariance across multiple synthetic environments. IWD perturbs spurious cues while preserving core semantics, assigning higher distillation weights to samples whose teacher predictions remain invariant, indicating greater reliance on causal rather than spurious features. We theoretically show that IWD reduces the student's Spurious-to-Causal (S2C) gradient ratio compared to standard uniformly weighted KD, driving the student toward more invariant representations. Experiments on four NLP benchmarks (MNLI, SQuAD-v2, CoNLL-2003 NER, and SST-2) across two model families (DeBERTa-v3 and Qwen-2.5) demonstrate that IWD consistently outperforms strong KD baselines on OOD evaluations while maintaining competitive in-distribution (ID) performance. Specifically, IWD achieves the highest accuracy in 15 out of 16 OOD benchmarks and improves average OOD performance over standard KD by 4.34 percentage points on NLI and 14.94 percentage points on QA.
• Abstract（参考訳）: 知識蒸留(KD)は、ハイパフォーマンスな教師のLSMを軽量な学生に圧縮することを目的としている。 しかし, 蒸留した学生は, アウト・オブ・ディストリビューション(OOD)設定において, かなりの性能低下を経験することが多い。 我々は,(1)データスプリアスネス:学生が真の因果関係よりも蒸留データセットのスプリアス相関を学習し,(2)教師能力:標準KDがすべてのサンプルを均一に処理し,教師が因果的特徴によってガイドされているか,あるいは与えられたサンプル上でスプリアスショートカットによって誤解されているかを無視する2つの複合化メカニズムを同定した。 これらの課題に対処するために, 教師の因果関係を複数の合成環境に分散した予測不変性から推定し, トレーニングサンプルを動的に重み付けする, 理論的に基礎付けられたフレームワークである, 不変量蒸留(IWD)を提案する。 IWDの摂動は、コアセマンティクスを保ちながら急激な手がかりを与え、教師の予測が不変であるサンプルにより高い蒸留重量を割り当て、急激な特徴よりも因果関係に依存していることを示している。 理論的には、IWDは標準重み付きKDと比較して学生のS2C勾配比を減少させ、より不変な表現へと導く。 4つのNLPベンチマーク(MNLI, SQuAD-v2, CoNLL-2003 NER, SST-2)を2つのモデルファミリ(DeBERTa-v3, Qwen-2.5)で行った実験により、IWDは競合する分散内分散(ID)性能を維持しつつ、OOD評価の強いKDベースラインを一貫して上回っていることが示された。 特に、IWDは16のOODベンチマークのうち15の精度を達成し、標準KDよりも平均OOD性能をNLIでは4.34ポイント、QAでは14.94ポイント向上させる。

関連論文リスト

• When Does Knowledge Distillation Hurt? Reliability-Aware Distillation for Low-Resource Language Summarization [0.270366062356502]
  知識蒸留(KD)は、シーケンス・ツー・シーケンスモデルを圧縮するための標準的な手法である。 標準KDはROUGE-Lをクロスエントロピーベースライン上で0.0003だけ改善する。 トレーニングサンプルの約51.3%は、標準KDの学生の検証損失に積極的に影響すると見積もられている。 本稿では,2つの相補的信頼性を考慮した蒸留法を提案する。
  論文  参考訳（メタデータ） (2026-07-22T09:32:28Z)
• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• Reliability Gated Multi-Teacher Distillation for Low Resource Abstractive Summarization [0.0]
  信頼性を考慮した低資源抽象要約のための多教師知識蒸留について検討した。 EWADは,教師間の合意に基づいて,教師の蒸留と金の監督をルートするトークンレベル機構である。 ロージットレベルのKDが最も信頼性の高いゲインを提供するのに対し、より複雑な蒸留は短いサマリーのセマンティックな類似性を向上するが、より長い出力を劣化させる。
  論文  参考訳（メタデータ） (2026-04-03T17:06:51Z)
• REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency [0.0]
  本稿では、ロバスト統計に基づく原則化されたフレームワークであるREDistillを紹介する。 レディスティルは標準のKD目標をKL分散の一般化であるパワー分散損失に置き換える。 CIFAR-100 と ImageNet-1k の実験では、REDistill は多様な教師/学生アーキテクチャにおける生徒の精度を一貫して向上することを示した。
  論文  参考訳（メタデータ） (2026-02-04T15:50:53Z)
• SGD-Based Knowledge Distillation with Bayesian Teachers: Theory and Guidelines [82.00660447875266]
  知識蒸留(英: Knowledge Distillation, KD)は、大きな教師ネットワークから、しばしばソフト確率出力を利用して、より小さな学生モデルに知識を伝達する中心的なパラダイムである。 グラディエント・Descent (SGD) を訓練した学生の収束行動の厳密に分析する。 分析の結果,BCPからの学習は分散の低減と収束境界の近傍項の除去に寄与することがわかった。 これらの知見に触発されて、我々は、通常、KDの教師として、BCPの見積もりを改善するベイズ深層学習モデルの使用を提唱する。
  論文  参考訳（メタデータ） (2026-01-04T11:09:49Z)
• Biased Teacher, Balanced Student [0.0]
  Long-Tailed Knowledge Distillation (LTKD)は、クラス不均衡シナリオに適した新しいフレームワークである。 CIFAR-100-LT、TinyImageNet-LT、ImageNet-LTの実験は、LTKDが既存のKDメソッドより一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2025-06-23T10:46:44Z)
• Faithful Knowledge Distillation [75.59907631395849]
  i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。 これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
  論文  参考訳（メタデータ） (2023-06-07T13:41:55Z)
• How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
  本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。 我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。 特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
  論文  参考訳（メタデータ） (2021-10-22T21:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。