論文の概要: CoCaRS: Correlation Calibration-Based Redundancy Suppression for Heterogeneous Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2607.27054v1
• Date: Wed, 29 Jul 2026 15:47:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.728858
• Title: CoCaRS: Correlation Calibration-Based Redundancy Suppression for Heterogeneous Knowledge Distillation
• Title（参考訳）: CoCaRS:不均一な知識蒸留のための相関校正に基づく冗長抑制
• Abstract要約: 相関に基づく冗長抑制(CoCaRS)は構造情報をよりよく保持するために提案される。 CIFAR-100とImageNet-1Kの実験は、CoCaRSの有効性を検証する。
• 参考スコア（独自算出の注目度）: 6.018537239538861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) enables a compact student model to learn from a powerful teacher and has become an effective paradigm for model compression. The emergence of diverse model architectures has extended KD from homogeneous to heterogeneous settings. However, differences in architectural inductive biases between the teacher and student models often result in substantial representation discrepancies, limiting the effectiveness of direct knowledge transfer. Recently, redundancy suppression has offered a new perspective on heterogeneous KD by preserving cross-architecture invariance and reducing feature redundancy through decorrelation of teacher-student feature correlations. Nevertheless, this formulation may weaken useful structural information through uniform decorrelation, while a fixed coefficient may make the effective contribution of redundancy suppression sensitive to teacher-student pairs and training stages. To address these problems, Correlation Calibration-based Redundancy Suppression (CoCaRS) is proposed to better retain structural information while suppressing redundancy and reduce sensitivity to coefficient settings across teacher-student pairs and training stages. Specifically, CoCaRS calibrates feature decorrelation through Confusion Evidence Estimation (CEE) and Strength Allocation Control (SAC), which respectively capture reliable semantic relations for correlation estimation and preserve discriminative structure during decorrelation. Adaptive Coefficient Regulation (ACR) further regulates the contribution of the calibrated redundancy suppression objective according to its relative loss scale, reducing sensitivity to coefficient settings. Extensive experiments on CIFAR-100 and ImageNet-1K validate the effectiveness of CoCaRS in improving distillation performance and reducing sensitivity to coefficient settings. Code will be released soon.
• Abstract（参考訳）: 知識蒸留(KD)は、強力な教師から学習できるコンパクトな学生モデルを可能にし、モデル圧縮の効果的なパラダイムとなった。 多様なモデルアーキテクチャの出現により、KDは均質な設定から異質な設定へと拡張された。 しかし、教師と生徒のモデル間のアーキテクチャ上の帰納バイアスの違いは、しばしば表現の相違をもたらし、直接的な知識伝達の有効性を制限する。 近年,教師と学生の特徴相関のデコリレーションにより,異種KDの相互構造不変性を保ち,特徴冗長性を低下させることにより,冗長性抑制が新たな視点を提供するようになった。 それにもかかわらず、この定式化は、均一なデコリレーションを通じて有用な構造情報を弱め、固定係数は教師と学生のペアや訓練段階に敏感な冗長性抑制を効果的に寄与させる可能性がある。 このような問題に対処するため,CoCaRS(Relational Calibration-based Redundancy Suppression)が提案され,教師と学生のペア,トレーニングステージ間の係数設定に対する感度を低下させながら,構造情報の保持性の向上が図られた。 具体的には,CoCaRSキャリブラーがCEE(Confusion Evidence Estimation)とSAC(Sense Allocation Control)によって特徴的デコリレーション(decorrelation)を行い,相関推定のための信頼性のあるセマンティックリレーションをそれぞれ取得し,デコリレーション中の識別構造を保存する。 適応係数規制(Adaptive Coefficient Regulation, ACR)は、その相対損失スケールに応じて調整された冗長性抑制目標の寄与を更に規制し、係数設定に対する感度を低下させる。 CIFAR-100とImageNet-1Kの広範囲にわたる実験は、CoCaRSが蒸留性能を改善し、係数設定に対する感度を低下させる効果を検証した。 コードはまもなくリリースされる。

関連論文リスト

• Reducing Learner Redundancy in Boosting via Residual Orthogonalization [18.700465769971434]
  我々のフレームワークは、スペクトル残留射影(SRP)と共分散規則重み付け(CRW)の2つの相補的なメカニズムを通して冗長性に取り組む。 10のベンチマークデータセットに対する実験は、SCBoostが強力なアウトオブボックスパフォーマンスを提供することを示している。 この研究は、幾何レンズによるブースティングを再解釈し、明示的な冗長性制御がより効率的なアンサンブルアーキテクチャに向けた原則的で必要なステップであることを示唆している。
  論文  参考訳（メタデータ） (2026-06-16T06:13:59Z)
• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• Don't Ignore the Tail: Decoupling top-K Probabilities for Efficient Language Model Distillation [50.19746127327559]
  教師モデルのトップK予測確率と低確率予測確率の寄与を分離する新しいテールアウェア分岐を提案する。 実験により, 改良蒸留法は, デコーダモデルの事前学習と教師付き蒸留の両方において, 競争性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-02-24T11:54:06Z)
• REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency [0.0]
  本稿では、ロバスト統計に基づく原則化されたフレームワークであるREDistillを紹介する。 レディスティルは標準のKD目標をKL分散の一般化であるパワー分散損失に置き換える。 CIFAR-100 と ImageNet-1k の実験では、REDistill は多様な教師/学生アーキテクチャにおける生徒の精度を一貫して向上することを示した。
  論文  参考訳（メタデータ） (2026-02-04T15:50:53Z)
• Learning Causality for Longitudinal Data [1.2691047660244335]
  この論文は、高次元の時間変化データにおける因果推論と因果表現学習の手法を開発する。 最初のコントリビューションは、個別処理効果(ITE)を推定するモデルであるCDVAE(Causal Dynamic Variational Autoencoder)の導入である。 第2のコントリビューションでは,Contrastive Predictive Coding (CPC) とInfoMaxによって強化された RNN に基づく長期的反事実回帰のための効率的なフレームワークを提案する。 第3のコントリビューションは、潜伏が観察された変数にどのように現れるかに対処することでCRLを前進させる。
  論文  参考訳（メタデータ） (2025-12-04T16:51:49Z)
• Fuse Before Transfer: Knowledge Fusion for Heterogeneous Distillation [52.0297393822012]
  異質な教師と学生間の機能的知識の伝達を容易にするために,橋梁としてアシスタントモデルを導入する。 提案した設計原理の中では, クロスアーキテクチャ帰納バイアスとモジュール関数の利点を組み合わせたアシスタントモデルが提案されている。 提案手法は, CNN, ViT, 空間KDの同種モデルペアと任意の異種組み合わせを用いて評価する。
  論文  参考訳（メタデータ） (2024-10-16T08:02:49Z)
• Efficient and Robust Knowledge Distillation from A Stronger Teacher Based on Correlation Matching [0.09999629695552192]
  相関マッチング知識蒸留 (CMKD) 法は, ピアソンとスピアマンの相関係数に基づくKD損失を組み合わせ, より効率的で堅牢な蒸留を実現している。 CMKDはシンプルだが実用的であり、CIRAR-100とImageNetの最先端性能を継続的に達成できることを広範な実験で実証している。
  論文  参考訳（メタデータ） (2024-10-09T05:42:47Z)
• Enhancing Logits Distillation with Plug\&Play Kendall's $τ$ Ranking Loss [33.77389987117822]
  知識蒸留は通常、教師と学生のロジット間のKL(Kulback-Leibler)のばらつきを最小限に抑える。 その結果,KL分散尺度によって引き起こされる勾配は,教師の対数の大きさとともに,低確率チャネルの更新を減少させることがわかった。 我々はKendallの$tau$係数に基づいて,任意のロジット蒸留フレームワークにシームレスに統合可能な補助的なランキング損失を提案する。
  論文  参考訳（メタデータ） (2024-09-26T13:21:02Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Controllable Relation Disentanglement for Few-Shot Class-Incremental Learning [82.79371269942146]
  本稿では,FewShot Class-Incremental Learning (FSCIL) を新たな視点,すなわち関係の絡み合いから扱うことを提案する。 急激な相関関係を切り離すことの課題は、FSCILの制御性が悪いことである。 我々は、CTRL-FSCIL(Controllable Relation-disentang FewShot Class-Incremental Learning)と呼ばれる、新しいシンプルな効果のある手法を提案する。
  論文  参考訳（メタデータ） (2024-03-17T03:16:59Z)
• Knowledge Distillation Performs Partial Variance Reduction [93.6365393721122]
  知識蒸留は'学生'モデルの性能を高めるための一般的な手法である。 知識蒸留(KD)の背後にある力学は、まだ完全には理解されていない。 我々は,KDを新しいタイプの分散還元機構として解釈できることを示す。
  論文  参考訳（メタデータ） (2023-05-27T21:25:55Z)
• Geometric Value Iteration: Dynamic Error-Aware KL Regularization for Reinforcement Learning [11.82492300303637]
  動的係数スキームについて検討し,第1次誤差境界を示す。 より頑健な学習のために,誤差の大きさに応じて係数を調整するための効果的なスキームを提案する。 実験により, 一定KL係数の均一平均化に対する学習速度とロバスト性とのトレードオフを効果的に活用できることが実証された。
  論文  参考訳（メタデータ） (2021-07-16T01:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。