論文の概要: Covert Trait Propagation Is Representation Alignment: Mechanistic Evidence from Hidden-Channel Distillation

• arxiv url: http://arxiv.org/abs/2607.04432v1
• Date: Sun, 05 Jul 2026 17:52:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.929418
• Title: Covert Trait Propagation Is Representation Alignment: Mechanistic Evidence from Hidden-Channel Distillation
• Title（参考訳）: 被覆トレート伝播は配座である:隠れたチャネル蒸留による力学的証拠
• Abstract要約: 純一様雑音で訓練された学生モデルは、教師の数字分類能力を継承することができる。 以前の研究は、教師の学習率が十分に小さい場合には、この移行が保証されていることを証明している。 これらのチャンネルは純粋に情報化されていない。
• 参考スコア（独自算出の注目度）: 0.4613981116181485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A student model trained on pure uniform noise can still inherit its teacher's digit-classification ability, provided the two share initialization. Previous work proves this transfer is guaranteed when the teacher's learning rate is small enough, but does not explain where in the network the channel lives or what sets its capacity. Working in an MLP distillation setting on MNIST, we show these channels are not purely informational: geometric alignment gates access to the information the channel carries. Shared initialization makes the output projection W_2 a common coordinate key, and KL gradients reshape the student's input projection W_0 until its hidden representations align with the teacher's. We call this covert trait propagation (CTP). Five experiments support this mechanism: channel closure tracks weight drift, not teacher accuracy; freezing W_0 destroys transfer while freezing W_2 leaves it intact; multi-teacher ensembles cancel out despite each teacher carrying comparable label information; and linear centered kernel alignment (CKA) tracks student accuracy at r=0.98 across a continuous initialization sweep. Applying the same geometric lens to cross-token behavioral entanglement (CTBE) in instruction-tuned LLMs, we find the effect appears to be activated by alignment training, acting on an inherited substrate, and that the standard log-ratio metric produces an apparent frequency bias that is largely a circularity artifact.
• Abstract（参考訳）: 純一様雑音で訓練された学生モデルは、2つの共有初期化を条件として、教師の数字分類能力を継承することができる。 これまでの研究では、教師の学習率が十分に小さい場合、この転送が保証されていることが証明されているが、ネットワーク内のどこにチャネルがあるか、その能力を設定するかは説明されていない。 MNIST上でのMLP蒸留環境での作業では、これらのチャネルは純粋に情報的ではない: 幾何学的アライメントゲートは、チャネルが持つ情報にアクセスする。 共有初期化は出力プロジェクションW_2を共通座標キーとし、KLグラデーションは生徒の入力プロジェクションW_0を、その隠れ表現が教師と整合するまで再生成する。 これを CTP ( Covert trait propagation) と呼ぶ。 チャネル閉鎖は教師の精度ではなくウェイトドリフトを追跡し、W_0の凍結はW_2の葉を凍結しながら転送を破壊し、マルチ教師のアンサンブルは、教師が同等のラベル情報を持っているにもかかわらずキャンセルされ、線形中心核アライメント(CKA)は、連続初期化スイープを通してr=0.98の学生の精度を追跡する。 命令調整LDMにおいて、同じ幾何学的レンズをCTBE(Cross-token behavioral entanglement)に適用すると、この効果は、アライメントトレーニングによって活性化され、継承基板に作用し、標準対数比測定により、主に円形のアーティファクトである見かけの周波数バイアスが生じることが分かる。

関連論文リスト

• Follow the Geometry, Not the Model: Cold Start Semi-Supervised Learning [7.6344611819427035]
  VAST(Veracity-Aware Semi-Supervised Training)を提案する。 VASTは、グラフベースのSSLベースラインを3つのデータセットのすべての運用ポイントで上回る。
  論文  参考訳（メタデータ） (2026-09-13T11:46:26Z)
• The Distributional View of Knowledge Distillation [13.841028090842869]
  トークンレベルの知識蒸留は、位置ごとに2つの条件分布に一致する。 我々は,教師が単一軟化アウトプットではなく,多温度ビューのファミリで表される分布ビューを開発する。
  論文  参考訳（メタデータ） (2026-08-15T13:03:31Z)
• Channel Location Constrains the Auditability of Subliminal Learning [0.0]
  サブリミナル・ラーニング(Subliminal learning)は、教師の隠れた特徴を、決して名前をつけない蒸留データから継承する。 事前訓練された言語モデルでは、マスク付きシングルトーケン特性は代わりに収束語彙幾何学を使用する。 チャンネルの位置は、どの監査を音声で行うかを決定するのに必要である。
  論文  参考訳（メタデータ） (2026-06-20T12:48:31Z)
• Trajectory-Refined Distillation [25.346810464266497]
  トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。 TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
  論文  参考訳（メタデータ） (2026-06-07T03:17:25Z)
• Why Are DMD Students Lazy? Understanding the Copying Behavior in Few-Step Distillation [66.15462638744619]
  分散整合蒸留 (DMD) は、全てのスケールでノイズ分布を整列することにより、事前学習した拡散モデルを効率的な数ステップ生成器に圧縮する。 意外なことに、高次元環境では、蒸留された学生が、教師のオリジナルのノイズデータペアリングを自然に再現することが、私たちがコピーと呼ぶ現象であることがわかった。
  論文  参考訳（メタデータ） (2026-06-01T13:30:19Z)
• Graph Transfer Learning via Shared Latent Geometry: Theory and Applications [12.735610064958712]
  工学的な物理システムにおける推論と制御は、展開において重い物理コストを支払う。 両問題を解決する非対称な双方向アーキテクチャを提案する。 教師エンコーダは、高忠実度シミュレータから特権化された高密度状態を消費し、スペクトル摂動下で安定な演算子-ポリノミカル特徴を通してシステムを表現する。 学生エンコーダは、スパースフィールドデータと演算子記述子から同じ潜時幾何学を学習する。
  論文  参考訳（メタデータ） (2026-05-30T13:00:13Z)
• One-Step Distillation of Discrete Diffusion Image Generators via Fixed-Point Iteration [20.457786704615454]
  Fixed-Point Distillation (FPD) は、学生の1段階のドラフトを部分的に破損させ、1段階の教師ステップで修正することで、局所的な修正ターゲットを構築するエンドツーエンドのフレームワークである。 FPDは、単一の推論ステップにおいて、競争力のある視覚的忠実度と構造的整合性を達成し、マルチステップの教師とのギャップを狭める。
  論文  参考訳（メタデータ） (2026-05-20T17:59:10Z)
• Belief or Circuitry? Causal Evidence for In-Context Graph Learning [3.9356042574269545]
  モデルがグローバルなトポロジを追跡するか、あるいは局所的な遷移をコピーすることを示す。 どちらの説明も十分でないという2つの証拠を提示する。 本研究は, 実構造推論と誘導回路を並列に動作させる双対機構解析法とよく一致している。
  論文  参考訳（メタデータ） (2026-05-08T19:11:19Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• Repainting and Imitating Learning for Lane Detection [52.5220065495956]
  現行の車線検出手法は、重い影による視認性車線問題に苦慮している。 本稿では,教師と学生のペアを含む新しいリペイント・イミメーティング学習フレームワークを提案する。 提案手法は,推定中に余分な時間的コストを伴わず,様々な最先端車線検出ネットワークでプラグアンドプレイが可能となる。
  論文  参考訳（メタデータ） (2022-10-11T02:26:39Z)
• Exploring Inter-Channel Correlation for Diversity-preserved KnowledgeDistillation [91.56643684860062]
  ICKD (Inter-Channel correlation for Knowledge Distillation) を開発した。 ICKDは教師ネットワークにおける特徴空間の内在分布と十分な多様性特性をキャプチャする。 我々は,ノウルエッジ蒸留に基づく最初の手法であるResNet18は,ImageNet分類におけるTop-1の精度を72%以上向上させる。
  論文  参考訳（メタデータ） (2022-02-08T07:01:56Z)
• Channel-wise Knowledge Distillation for Dense Prediction [73.99057249472735]
  本稿では,学生ネットワークと教師ネットワークのチャンネルワイズ機能について提案する。 様々なネットワーク構造を持つ3つのベンチマークにおいて、一貫して優れた性能を実現している。
  論文  参考訳（メタデータ） (2020-11-26T12:00:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。