論文の概要: Circuit Distillation

• arxiv url: http://arxiv.org/abs/2509.25002v1
• Date: Mon, 29 Sep 2025 16:28:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:20.128523
• Title: Circuit Distillation
• Title（参考訳）: 回路蒸留
• Authors: Somin Wadhwa, Silvio Amir, Byron C. Wallace,
• Abstract要約: 本稿では,教師モデルと学生モデルにおける類似回路コンポーネント間の内部表現の整合化を目的とした回路蒸留を提案する。 我々は、Llama3ファミリーのモデルを用いて、実体追跡と心の理論(ToM)タスクの回路蒸留を評価する。
• 参考スコア（独自算出の注目度）: 18.631673704920296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model distillation typically focuses on behavioral mimicry, where a student model is trained to replicate a teacher's output while treating its internal computations as a black box. In this work we propose an alternative approach: Distilling the underlying computational mechanisms implemented by a teacher model. Specifically, we propose circuit distillation, which introduces an objective to align internal representations between analogous circuit components in teacher and student models. We propose a method to match ``functionally correspondent'' circuit components and introduce a loss reflecting similarities between the representations that these induce. We evaluate circuit distillation on entity tracking and theory of mind (ToM) tasks using models from the Llama3 family. Our results demonstrate that circuit distillation outperforms standard distillation, successfully transferring algorithmic capabilities by adjusting only a small, targeted subset of student model parameters. This work establishes the feasibility of transferring mechanisms, which may in turn allow for efficient distillation of targeted teacher capabilities via interpretable and controllable internal student mechanisms.
• Abstract（参考訳）: モデル蒸留は通常、学生モデルが教師の出力を再現するために訓練され、内部の計算をブラックボックスとして扱う行動模倣に焦点を当てる。 そこで本研究では,教師モデルによって実装された基礎となる計算機構を蒸留する手法を提案する。 具体的には,教師モデルと学生モデルにおける類似回路コンポーネント間の内部表現の整合化を目的とした回路蒸留を提案する。 本稿では, '機能対応' 回路成分に適合する手法を提案し, それらが引き起こす表現の類似性を反映した損失を導入する。 我々は、Llama3ファミリーのモデルを用いて、実体追跡と心の理論(ToM)タスクの回路蒸留を評価する。 その結果, 回路蒸留は, 学生モデルパラメータの小さなサブセットのみを調整することで, 標準的な蒸留よりも優れており, アルゴリズム能力の伝達に成功していることがわかった。 この研究は、伝達機構の実現可能性を確立し、それによって、解釈可能で制御可能な内部学生機構を通じて、標的となる教師の能力の効率的な蒸留を可能にする。

関連論文リスト

• Don't Ignore the Tail: Decoupling top-K Probabilities for Efficient Language Model Distillation [50.19746127327559]
  教師モデルのトップK予測確率と低確率予測確率の寄与を分離する新しいテールアウェア分岐を提案する。 実験により, 改良蒸留法は, デコーダモデルの事前学習と教師付き蒸留の両方において, 競争性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-02-24T11:54:06Z)
• Distilling Lightweight Domain Experts from Large ML Models by Identifying Relevant Subspaces [17.627125013326175]
  「SubDistill」は、各層における教師モデルの関連成分のみを蒸留する数値特性を改良した新しい蒸留アルゴリズムである。 ベンチマーク評価は, 蒸留した学生モデルが元の教師モデルの判断構造とより密に一致していることを示す説明可能なAI分析によって補完される。
  論文  参考訳（メタデータ） (2026-01-09T16:28:55Z)
• Knowledge distillation through geometry-aware representational alignment [3.901188865224763]
  既存の特徴蒸留法では, 損失ゼロであっても, 特徴構造を捕捉できないことを示す。 次に、プロクリスト距離と特徴文法行列のフロベニウスノルムの使用を動機付け、すでに表現的アライメントの測定の文脈で一般的な距離である。 本手法による特徴蒸留は,言語モデルファミリー間での蒸留性能の統計的に有意な改善を示すことを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:59:46Z)
• Distilled Circuits: A Mechanistic Study of Internal Restructuring in Knowledge Distillation [0.3683202928838613]
  教師と生徒の間で内部回路,表現,アクティベーションパターンがどう異なるかを分析する。 学生モデルは、教師コンポーネントを再編成、圧縮、破棄し、多くの場合、より少ない個々のコンポーネントに強く依存する。
  論文  参考訳（メタデータ） (2025-05-16T03:37:40Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• DETRDistill: A Universal Knowledge Distillation Framework for DETR-families [11.9748352746424]
  トランスフォーマーベースの検出器(DETR)は、訓練パラダイムの疎さと後処理操作の除去により、大きな注目を集めている。 知識蒸留(KD)は、普遍的な教師学習フレームワークを構築することで、巨大なモデルを圧縮するために用いられる。
  論文  参考訳（メタデータ） (2022-11-17T13:35:11Z)
• Delta Distillation for Efficient Video Processing [68.81730245303591]
  デルタ蒸留と呼ばれる新しい知識蒸留方式を提案する。 ビデオフレーム内の時間的冗長性により,これらの時間的変動を効果的に蒸留できることを実証した。 副産物として、デルタ蒸留は教師モデルの時間的一貫性を向上させる。
  論文  参考訳（メタデータ） (2022-03-17T20:13:30Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。