論文の概要: A Metamorphic Testing Perspective on Knowledge Distillation for Language Models of Code: Does the Student Deeply Mimic the Teacher?

• arxiv url: http://arxiv.org/abs/2511.05476v1
• Date: Fri, 07 Nov 2025 18:38:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 21:00:44.862641
• Title: A Metamorphic Testing Perspective on Knowledge Distillation for Language Models of Code: Does the Student Deeply Mimic the Teacher?
• Title（参考訳）: コードの言語モデルにおける知識蒸留に関するメタモルフィックテストの視点:学生は教師を深く混乱させるか?
• Authors: Md. Abdul Awal, Mrigank Rochan, Chanchal K. Roy,
• Abstract要約: トランスフォーマーベースのコード言語モデルは、幅広いソフトウェア分析タスクで最先端のパフォーマンスを達成した。 しかし、計算コストが高く、推論速度が遅く、環境への影響も大きいため、実用的な展開は依然として限られている。 本稿では,教師モデルと学生モデルの出力を比較することで,行動の忠実度を体系的に評価するフレームワークであるMetaCompressを提案する。
• 参考スコア（独自算出の注目度）: 6.25009626782699
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformer-based language models of code have achieved state-of-the-art performance across a wide range of software analytics tasks, but their practical deployment remains limited due to high computational costs, slow inference speeds, and significant environmental impact. To address these challenges, recent research has increasingly explored knowledge distillation as a method for compressing a large language model of code (the teacher) into a smaller model (the student) while maintaining performance. However, the degree to which a student model deeply mimics the predictive behavior and internal representations of its teacher remains largely unexplored, as current accuracy-based evaluation provides only a surface-level view of model quality and often fails to capture more profound discrepancies in behavioral fidelity between the teacher and student models. To address this gap, we empirically show that the student model often fails to deeply mimic the teacher model, resulting in up to 285% greater performance drop under adversarial attacks, which is not captured by traditional accuracy-based evaluation. Therefore, we propose MetaCompress, a metamorphic testing framework that systematically evaluates behavioral fidelity by comparing the outputs of teacher and student models under a set of behavior-preserving metamorphic relations. We evaluate MetaCompress on two widely studied tasks, using compressed versions of popular language models of code, obtained via three different knowledge distillation techniques: Compressor, AVATAR, and MORPH. The results show that MetaCompress identifies up to 62% behavioral discrepancies in student models, underscoring the need for behavioral fidelity evaluation within the knowledge distillation pipeline and establishing MetaCompress as a practical framework for testing compressed language models of code derived through knowledge distillation.
• Abstract（参考訳）: トランスフォーマーベースのコード言語モデルは、幅広いソフトウェア分析タスクで最先端のパフォーマンスを達成したが、計算コストが高く、推論速度が遅く、環境への影響も大きいため、実際の展開は制限されている。 これらの課題に対処するため、近年の研究では、大きな言語モデル(教師)をより小さなモデル(生徒)に圧縮し、性能を維持しながら、知識蒸留を探求している。 しかし,学生モデルが教師の予測行動や内的表現を深く模倣する程度は,現在の精度に基づく評価では,モデル品質の面レベルな視点しか得られず,教師と生徒の行動の忠実さのより深い相違を捉えることができないため,未解明のままである。 このギャップに対処するために、学生モデルが教師モデルに深く似通うことがしばしばあり、その結果、従来の精度に基づく評価では得られない敵攻撃による性能低下が最大285%増加することを実証的に示す。 そこで,メタコンプレックス(MetaCompress)を提案する。メタコンプレックス(MetaCompress)は,行動保存型メタモルフィズム関係の集合に基づき,教師と生徒のモデル出力を比較することによって,行動の忠実度を体系的に評価するメタコンプレックスである。 我々はMetaCompressを,3種類の知識蒸留技術(Compressor, AVATAR, MORPH)を用いて,一般的な言語モデルの圧縮版を用いて,広く研究されている2つのタスクについて評価した。 その結果,MetaCompressは,知識蒸留パイプライン内での行動忠実度評価の必要性を浮き彫りにし,知識蒸留から派生したコードの圧縮言語モデルをテストするための実践的なフレームワークとしてMetaCompressを確立した。

関連論文リスト

• Collaborative Distillation Strategies for Parameter-Efficient Language Model Deployment [41.35285613908838]
  本稿は,大規模言語モデルの展開において,高い計算コストと遅延推論の課題に対処する。 複数の教師モデルによって導かれる蒸留戦略を提案する。 その結果, パープレキシティ, 蒸留損失, 生成品質の全体的な優位性が確認された。
  論文  参考訳（メタデータ） (2025-07-21T02:55:33Z)
• Personalized Student Knowledge Modeling for Future Learning Resource Prediction [0.0]
  学生の知識と行動のパーソナライズと同時モデリングのための知識モデリングと教材予測(KMaP)を提案する。 KMaPはクラスタリングベースの学生プロファイリングを使用して、パーソナライズされた学生表現を作成し、将来の学習リソース選好の予測を改善する。 2つの実世界のデータセットの実験では、学生クラスタ間での行動の違いが顕著に確認されている。
  論文  参考訳（メタデータ） (2025-05-20T08:23:50Z)
• Modeling Behavior Change for Multi-model At-Risk Students Early Prediction (extended version) [10.413751893289056]
  現在のモデルは、単純かつ離散的な行動パターンを通じて、一貫してパフォーマンスの悪い学生を識別する。 我々は,中学校の教師の発言データと数値グレードデータを利用した,革新的な予測モデルであるMultimodal-ChangePoint Detection (MCPD)を開発した。 本モデルでは,ベースラインアルゴリズムの平均性能を約5～10%向上させるとともに,70～75%の精度範囲を達成している。
  論文  参考訳（メタデータ） (2025-02-19T11:16:46Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• MoMA: Momentum Contrastive Learning with Multi-head Attention-based Knowledge Distillation for Histopathology Image Analysis [4.5677296928097055]
  計算病理学における特定のタスクに関して、品質データの欠如は一般的な問題である。 そこで本研究では,既存のモデルを用いて新たなターゲットモデルを学習する知識蒸留手法を提案する。 本研究では,教師モデルから学習対象モデルを学習するために,学習者・教師の枠組みを用いる。
  論文  参考訳（メタデータ） (2023-08-31T08:54:59Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• From Mimicking to Integrating: Knowledge Integration for Pre-Trained Language Models [55.137869702763375]
  本稿では,新しいPLM再利用パラダイムであるKnowledge Integration(KI)について検討する。 KIは,異なる分類問題に特化している教師-PLMの知識を,多種多様な学生モデルにマージすることを目的としている。 次に,モデル不確かさを意識した知識統合(MUKI)フレームワークを設計し,学生の黄金の監督を回復する。
  論文  参考訳（メタデータ） (2022-10-11T07:59:08Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Contrastive Distillation on Intermediate Representations for Language Model Compression [89.31786191358802]
  本稿では,中間表現に関するコントラスト蒸留(Contrastive Distillation on Intermediate Representation, CoDIR)について, 基本知識蒸留フレームワークとして提案する。 ポジティブなサンプルと大量のネガティブなサンプルを区別することを学ぶことで、CoDIRは教師の隠れた層におけるリッチな情報の利用を促進する。 CoDIRは、事前学習と微調整の両方の段階で大規模言語モデルに容易に適用でき、GLUEベンチマークで最高性能を達成できる。
  論文  参考訳（メタデータ） (2020-09-29T17:31:43Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。