論文の概要: Teacher Supervision over Representation Equivalence Classes
- arxiv url: http://arxiv.org/abs/2607.03572v1
- Date: Fri, 03 Jul 2026 19:26:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.650695
- Title: Teacher Supervision over Representation Equivalence Classes
- Title（参考訳）: 表現等価授業に関する教師の監督
- Abstract要約: 我々は,教師の出力関数である能力が,クラスアクションの商を介するクラス不変量であることを示す。
我々はQwen2.5とLlama-3.1のフレームワークを検証する。
- 参考スコア（独自算出の注目度）: 0.5076419064097734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge distillation is usually framed as a choice of what to match in the teacher - its logits, hidden features, or sample relations - which presupposes that the teacher's representation has absolute coordinates to match. It does not: a pretrained representation is identifiable only up to an orthogonal-and-isotropic-scaling equivalence class, so a student should learn the teacher's equivalence class, not its features. The organizing fact is that capability is the teacher's output function, a class invariant that factors through the quotient by the class action, so an objective recovers capability exactly when it is defined there. This makes absolute feature matching ill-posed, and admissible supervision a matter of targeting class invariants (Gram structure, CKA, principal subspaces) or aligning coordinates first, unifying feature matching, relational distillation, alignment, and grafting in one geometric account. We validate our framework on Qwen2.5 and Llama-3.1. A restoration study recovers a corrupted model's representation (CKA ~ 0.99) but not its capability, and an ablation isolates the cause: output-function (logit) matching drives capability, while matching hidden representations aligns geometry without restoring function. Recovery is confined to the corpus-covered region, and a graft study confirms that boundary overlap predicts transplant success but is necessary, not sufficient.
- Abstract（参考訳）: 知識蒸留は通常、教師の表現が一致する絶対座標を持つことを前提に、教師の対物、隠された特徴、またはサンプル関係(英語版)の選択肢として構成される。
事前訓練された表現は直交および等方的スケーリング同値類にのみ識別可能であるので、生徒はその特徴ではなく、教師の同値類を学ぶべきである。
組織化事実は、能力は教師の出力関数であり、クラスアクションによって商を分解するクラス不変量である。
これは絶対的な特徴マッチングが不適切であり、許容可能な監督はクラス不変量(グラム構造、CKA、主部分空間)をターゲットにするか、まず座標をアライメントし、一元的特徴マッチング、リレーショナル蒸留、アライメント、および1つの幾何学的説明においてグラフ化する問題である。
我々はQwen2.5とLlama-3.1のフレームワークを検証する。
復元研究は、破損したモデルの表現(CKA ~ 0.99)を復元するが、その能力は回復せず、アブレーションは原因を隔離する: 出力関数(logit)マッチングドライブ能力。
回復はコーパス被覆領域に限られており、移植標本では、境界重なりが移植成功を予測するが、必要ではないことが確認されている。
関連論文リスト
- PAGR: Proof-Carrying Algebraic-Geometric Retrieval: A Quiver-, Provenance-, and Sheaf-Theoretic Framework for Grounded LLM Retrieval [7.3040623979718475]
単語は知識として認定され、潜在表現は検索に有用であり、マルチホップ合成は意味論的に許容される。
本稿では,これらの問題を数学的に分離するフレームワークであるProof-Carrying Algebraic-Geometric Retrieval (PAGR)を提案する。
論文 参考訳（メタデータ） (2026-09-05T14:51:32Z) - Residual Algebra for Representation-Preserving Learning [7.900277891102576]
我々は、座標系と、それが未解決のまま残す残基の両方を所有する型付きオブジェクトである残基を代数学化する。
Foldは、オブジェクトを10×10ランクグリッド上のポイント・イン・タイム条件付き平均フィールドとして認識する。
3.67万の中国Aシェアストックデー観測(2023-2026)において、評価された基本代数は13.52%から19.10%に、シャープは1.42から2.09に上昇する。
論文 参考訳（メタデータ） (2026-08-07T15:44:55Z) - A Fiber Criterion for Representation Identifiability in Supervised Learning [0.0]
教師付き学習は、その入出力行動を通じて予測器を評価する。
本稿では,結果の表現レベル識別可能性問題を定式化する。
その結果、表現レベルのクレームは、予測行動だけでなく、仮定、目的、測定、帰納的バイアスを必要とすることが明らかとなった。
論文 参考訳（メタデータ） (2026-05-31T08:25:07Z) - Exact Structural Abstraction and Tractability Limits [0.0]
正確な正確性は、誘導されたクラス $s sim_R simation' iff MathrmAdm_R(s)$ にのみ依存する。
決定、探索、近似、統計的、ランダム化された地平線、分布保証は全て同じ商-回復問題に還元される。
論文 参考訳（メタデータ） (2026-04-08T17:59:47Z) - ResAD++: Towards Class Agnostic Anomaly Detection via Residual Feature Learning [52.11294707895649]
本稿では,クラス非依存型異常検出(AD)の問題点について検討する。
目的は、ターゲットデータの再トレーニングや微調整をせずに、異なるドメインから様々な新しいクラスの異常を一般化して検出できる、クラスに依存しないADモデルをトレーニングすることである。
8つの実世界のADデータセットに関する総合的な実験は、ResAD++が新しいクラスで直接使用されると、素晴らしいAD結果が得られることを示した。
論文 参考訳（メタデータ） (2025-09-28T08:41:05Z) - Feature Representation Transferring to Lightweight Models via Perception Coherence [7.535952418691443]
より大規模な教師モデルから軽量な学生モデルに特徴表現を伝達する手法を提案する。
オーロラティカルな洞察は、特徴表現伝達の過程に関する確率論的視点を提供する。
論文 参考訳（メタデータ） (2025-05-10T10:55:06Z) - Deep Regression Representation Learning with Topology [57.203857643599875]
回帰表現の有効性は,そのトポロジによってどのように影響されるかを検討する。
本稿では,特徴空間の内在次元と位相を対象空間と一致させる正則化器PH-Regを紹介する。
合成および実世界の回帰タスクの実験はPH-Regの利点を示している。
論文 参考訳（メタデータ） (2024-04-22T06:28:41Z) - Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse
Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。
本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。
学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
論文 参考訳（メタデータ） (2024-01-10T02:38:21Z) - How a student becomes a teacher: learning and forgetting through
Spectral methods [1.1470070927586018]
理論MLでは、教師パラダイムは実生活の授業の効果的なメタファーとしてしばしば用いられる。
本研究では、根本的に異なる最適化スキームを提案することにより、飛躍的に前進する。
このフレームワークで作業することで、教師の真の複雑さを反映した安定した学生のサブ構造を分離できる。
論文 参考訳（メタデータ） (2023-10-19T09:40:30Z) - Which Features are Learnt by Contrastive Learning? On the Role of
Simplicity Bias in Class Collapse and Feature Suppression [59.97965005675144]
コントラスト学習(CL)は,ラベル管理の有無に関わらず,表現学習の強力な技術として登場した。
CLによって学習される特徴を判定する,理論的に厳密な最初の統合フレームワークを提供する。
本稿では,2つの理論的動機付けされた解として,埋め込み次元の増大とデータ拡張の質の向上について述べる。
論文 参考訳（メタデータ） (2023-05-25T23:37:22Z) - Instance Similarity Learning for Unsupervised Feature Representation [83.31011038813459]
教師なし特徴表現のための例類似性学習(ISL)手法を提案する。
我々はGAN(Generative Adversarial Networks)を用いて、基礎となる特徴多様体をマイニングする。
画像分類実験は, 最先端手法と比較して, 提案手法の優位性を示した。
論文 参考訳（メタデータ） (2021-08-05T16:42:06Z) - Pairwise Supervision Can Provably Elicit a Decision Boundary [84.58020117487898]
類似性学習は、パターンのペア間の関係を予測することによって有用な表現を引き出す問題である。
類似性学習は、決定境界を直接引き出すことによって二項分類を解くことができることを示す。
論文 参考訳（メタデータ） (2020-06-11T05:35:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。