論文の概要: Circuit Distillation

• arxiv url: http://arxiv.org/abs/2509.25002v1
• Date: Mon, 29 Sep 2025 16:28:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:20.128523
• Title: Circuit Distillation
• Title（参考訳）: 回路蒸留
• Authors: Somin Wadhwa, Silvio Amir, Byron C. Wallace,
• Abstract要約: 本稿では,教師モデルと学生モデルにおける類似回路コンポーネント間の内部表現の整合化を目的とした回路蒸留を提案する。 我々は、Llama3ファミリーのモデルを用いて、実体追跡と心の理論(ToM)タスクの回路蒸留を評価する。
• 参考スコア（独自算出の注目度）: 18.631673704920296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model distillation typically focuses on behavioral mimicry, where a student model is trained to replicate a teacher's output while treating its internal computations as a black box. In this work we propose an alternative approach: Distilling the underlying computational mechanisms implemented by a teacher model. Specifically, we propose circuit distillation, which introduces an objective to align internal representations between analogous circuit components in teacher and student models. We propose a method to match ``functionally correspondent'' circuit components and introduce a loss reflecting similarities between the representations that these induce. We evaluate circuit distillation on entity tracking and theory of mind (ToM) tasks using models from the Llama3 family. Our results demonstrate that circuit distillation outperforms standard distillation, successfully transferring algorithmic capabilities by adjusting only a small, targeted subset of student model parameters. This work establishes the feasibility of transferring mechanisms, which may in turn allow for efficient distillation of targeted teacher capabilities via interpretable and controllable internal student mechanisms.
• Abstract（参考訳）: モデル蒸留は通常、学生モデルが教師の出力を再現するために訓練され、内部の計算をブラックボックスとして扱う行動模倣に焦点を当てる。 そこで本研究では,教師モデルによって実装された基礎となる計算機構を蒸留する手法を提案する。 具体的には,教師モデルと学生モデルにおける類似回路コンポーネント間の内部表現の整合化を目的とした回路蒸留を提案する。 本稿では, '機能対応' 回路成分に適合する手法を提案し, それらが引き起こす表現の類似性を反映した損失を導入する。 我々は、Llama3ファミリーのモデルを用いて、実体追跡と心の理論(ToM)タスクの回路蒸留を評価する。 その結果, 回路蒸留は, 学生モデルパラメータの小さなサブセットのみを調整することで, 標準的な蒸留よりも優れており, アルゴリズム能力の伝達に成功していることがわかった。 この研究は、伝達機構の実現可能性を確立し、それによって、解釈可能で制御可能な内部学生機構を通じて、標的となる教師の能力の効率的な蒸留を可能にする。

関連論文リスト

• Distilled Circuits: A Mechanistic Study of Internal Restructuring in Knowledge Distillation [0.3683202928838613]
  教師と生徒の間で内部回路,表現,アクティベーションパターンがどう異なるかを分析する。 学生モデルは、教師コンポーネントを再編成、圧縮、破棄し、多くの場合、より少ない個々のコンポーネントに強く依存する。
  論文  参考訳（メタデータ） (2025-05-16T03:37:40Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• DETRDistill: A Universal Knowledge Distillation Framework for DETR-families [11.9748352746424]
  トランスフォーマーベースの検出器(DETR)は、訓練パラダイムの疎さと後処理操作の除去により、大きな注目を集めている。 知識蒸留(KD)は、普遍的な教師学習フレームワークを構築することで、巨大なモデルを圧縮するために用いられる。
  論文  参考訳（メタデータ） (2022-11-17T13:35:11Z)
• Delta Distillation for Efficient Video Processing [68.81730245303591]
  デルタ蒸留と呼ばれる新しい知識蒸留方式を提案する。 ビデオフレーム内の時間的冗長性により,これらの時間的変動を効果的に蒸留できることを実証した。 副産物として、デルタ蒸留は教師モデルの時間的一貫性を向上させる。
  論文  参考訳（メタデータ） (2022-03-17T20:13:30Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。