論文の概要: What Survives Distillation? A Mechanistic Interpretability Study of GPT-2 and DistilGPT-2

• arxiv url: http://arxiv.org/abs/2610.37157v1
• Date: Tue, 27 Oct 2026 12:52:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.27104
• Title: What Survives Distillation? A Mechanistic Interpretability Study of GPT-2 and DistilGPT-2
• Title（参考訳）: 蒸留とは何か : GPT-2と Distil GPT-2の力学的解釈可能性
• Abstract要約: 本研究は、線形CKA、ロジットレンズ解析、アテンションパターン分解、スパースオートエンコーダ特徴統計、アクティベーションパッチの適用により、GPT-2と6層の学生であるDistilGPT-2を比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation compresses large language models into compact students that preserve aggregate metrics, yet the mechanistic consequences of depth-reduction distillation remain largely uncharacterized. This work applies linear CKA, logit lens analysis, attention pattern decomposition, sparse autoencoder feature statistics, and activation patching to compare GPT-2 and its six-layer student DistilGPT-2 across two canonical circuits: the Indirect Object Identification (IOI) circuit and the Greater-Than (GT) circuit. The results reveal a compression-collapse dichotomy: the IOI circuit suffers complete mechanistic collapse (DistilGPT-2: 35.2% accuracy vs. 94.8%, zero name-mover preservation), while the GT circuit survives with 87.7% task performance recovery through active remapping of the teacher's layer-9 comparison head into student layer~4 (mean Pearson r = 0.945). These findings demonstrate that circuit compressibility governs mechanistic survival under distillation, and that aggregate metrics are insufficient diagnostics for circuit integrity.
• Abstract（参考訳）: 知識蒸留は、大規模な言語モデルを集約的メトリクスを保存するコンパクトな学生に圧縮するが、深さ還元蒸留の機械的結果はほとんど文字化されていない。 この研究は、線形CKA、ロジットレンズ解析、アテンションパターン分解、スパースオートエンコーダ特徴統計、アクティベーションパッチを適用し、GPT-2と6層の学生であるDistilGPT-2を2つの標準回路(間接物体識別(IOI)回路とGT回路)で比較する。 IOI回路は完全な機械的崩壊(DistilGPT-2: 35.2%精度 vs. 94.8%,ゼロネームモーバー保存)し、GT回路は教師の9層比較ヘッドを4層(平均ピアソン r = 0.945)にアクティブに再マッピングすることで87.7%のタスク性能回復を継続する。 これらの結果から, 回路圧縮性は蒸留条件下での機械的生存を制御し, 集積度は回路整合性の診断に不十分であることが示唆された。

関連論文リスト

• Transferring Visual Explanations: How Cross-Architecture Knowledge Distillation Affects Model Interpretability [0.0]
  本研究は,教員ネットワークの空間的特徴の寄与を小学生に伝達する知識蒸留について検討する。 KDスキームが解釈可能性に与える影響を評価するため、5つの構成からなるImageNet-1K上でResNet-152教師をResNet-34学生に蒸留する。
  論文  参考訳（メタデータ） (2026-09-20T11:27:23Z)
• Lightweight Vision Transformer Compression for On-Device Plant Disease Detection in Resource-Constrained Agricultural Field Conditions [1.5530227558314913]
  ビジョントランスフォーマー(ViT)は高い分類精度を達成したが、その大きな計算フットプリントはリソース制約されたデバイスへの展開を困難にしている。 本稿では,2次感度推定によって導かれるH-BACと,量子化と注意に基づく知識蒸留を組み合わせた統合されたビジョントランスフォーマー圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-04T16:40:06Z)
• Towards Compact Unified Multimodal Tracking: Synergizing Knowledge Distillation with Structural Pruning [80.73561460934809]
  多モード物体追跡は 相補的なセンサーデータを活用することで 目覚ましい堅牢性を達成した 我々は予測ヘッドを重要ではあるが、しばしば見過ごされる効率ボトルネックとみなしている。 デコーダアーキテクチャを戦略的に合理化することで、リアルタイム推論の可能性を解き放ちます。
  論文  参考訳（メタデータ） (2026-08-02T20:41:33Z)
• Leakage-Robust Evaluation and Data-Scale Sensitivity of Attention-Enhanced Multi-Task Learning for Joint Fault Diagnosis and Remaining Useful Life Estimation [0.0]
  マルチタスクディープラーニングモデルは、スライディングウィンドウシーケンスがトレーニングとテストセットにどのように分割されるかによって影響を受ける可能性がある。 ナイーブな分割は、真の20-60%から99.9%に分類精度を低下させる可能性がある。 チャンクベース・リーク監査分割プロトコルを導入し,5種の種子,片方向ANOVA,Tukey HSDテストを用いて全モデルを評価した。
  論文  参考訳（メタデータ） (2026-07-17T20:33:36Z)
• CHERRY: Compressed Hierarchical Experts with Recurrent Representational Yield [1.2203679037551938]
  計算効率のよい言語モデルを学習するための3つの手法について検討する。 SGTはセマンティックペイロードを持つ出力トークンの15%を監督する。 リカレントリカバリによる 深度圧縮 韓国の基盤モデルであるCHERRY-1.8Bでこれらの手法を検証する。
  論文  参考訳（メタデータ） (2026-06-30T15:14:38Z)
• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• Compressing Multi-Task Model for Autonomous Driving via Pruning and Knowledge Distillation [23.08627330312648]
  本稿では,タスク認識型安全なプルーニングと特徴レベルの知識蒸留を組み合わせたマルチタスクモデル圧縮フレームワークを提案する。 BDD100Kデータセットの実験では、圧縮されたモデルがパラメータの32.7%の削減を実現している。 圧縮されたモデルは、リアルタイムに32.7 FPSで動作する。
  論文  参考訳（メタデータ） (2025-11-03T18:43:15Z)
• Generalized Kullback-Leibler Divergence Loss [105.66549870868971]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 DKL損失の非結合構造により,我々は改善すべき2つの領域を特定した。
  論文  参考訳（メタデータ） (2025-03-11T04:43:33Z)
• EAP-GP: Mitigating Saturation Effect in Gradient-based Automated Circuit Identification [62.611812892924156]
  飽和効果に対応するために,GradPath (EAP-GP) を用いたエッジパッチを提案する。 EAP-GPは、入力から始まり、飽和領域を避けるために、破損した入力とクリーン入力の勾配の違いの方向を適応的に追従する積分経路を導入する。 GPT-2 Small, GPT-2 Medium, GPT-2 XL を用いた6つのデータセットの EAP-GP の評価を行った。
  論文  参考訳（メタデータ） (2025-02-07T16:04:57Z)
• Sub-token ViT Embedding via Stochastic Resonance Transformers [51.12001699637727]
  Vision Transformer (ViT) アーキテクチャは、画像を高次元のベクトル化トークンの集合として表現し、それぞれが長方形の非重複パッチに対応する。 我々は「確率共鳴」にインスパイアされた無訓練法を提案する。 結果として得られるSRT(Stochastic Resonance Transformer)は、元の表現のリッチな意味情報を保持するが、空間的トークン化の粗い効果を軽減し、より微細な空間領域に基盤を置いている。
  論文  参考訳（メタデータ） (2023-10-06T01:53:27Z)
• Decoupled Kullback-Leibler Divergence Loss [90.54331083430597]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 我々はKL/DKLにクラスワイドなグローバル情報を導入し、個々のサンプルからバイアスを取ります。 提案手法は,新たな最先端の対人ロバスト性を公衆のリーダーボード上で実現する。
  論文  参考訳（メタデータ） (2023-05-23T11:17:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。