論文の概要: Recursive Meta-Distillation: An Axiomatic Framework for Iterative Knowledge Refinement
- arxiv url: http://arxiv.org/abs/2601.13100v1
- Date: Mon, 19 Jan 2026 14:39:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:22.929424
- Title: Recursive Meta-Distillation: An Axiomatic Framework for Iterative Knowledge Refinement
- Title（参考訳）: 再帰的メタ蒸留:反復的知識精製のための公理的枠組み
- Authors: Aaron R. Flouro, Shawn P. Chadwick,
- Abstract要約: 本稿では,教師に明示的なアンカーを施した確率分布演算子の列として,反復的知識蒸留のための公理的・演算的枠組みを導入する。
その結果, キャパシティ制約下での反復蒸留および多教師蒸留における安定性, バイアス分散挙動, 故障モードの理解の理論的基礎を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work in probability-domain knowledge distillation has established axiomatic frameworks for temperature scaling, multi-teacher aggregation, and bias-variance trade-offs in single-stage settings. However, the mathematical behavior of recursive or multi-generation distillation remains poorly understood, with prior approaches relying primarily on empirical heuristics. In this work, we introduce an axiomatic and operator-theoretic framework for recursive meta-distillation, formalizing iterative knowledge distillation as a sequence of probability-distribution operators with explicit anchoring to base teachers. We define structural axioms for valid meta-teacher construction and prove the existence of non-trivial operator families satisfying these axioms without specifying particular algorithms or loss functions. Under mild realizability and convexity assumptions, we show that anchored recursive distillation induces contraction in KL divergence, yielding geometric convergence to base teacher distributions and a unique, globally attractive fixed point. The contribution is foundational rather than algorithmic: the framework characterizes when recursive distillation is mathematically well-posed and convergent rather than error-accumulating, independent of model architecture, optimization details, or specific operator instantiations. These results provide a theoretical basis for understanding stability, bias-variance behavior, and failure modes in iterative and multi-teacher distillation under capacity constraints.
- Abstract（参考訳）: 確率領域の知識蒸留における最近の研究は、温度スケーリング、マルチティーチンガーアグリゲーション、単一ステージ環境でのバイアス分散トレードオフの公理的枠組みを確立している。
しかし、再帰的または多世代蒸留の数学的挙動は、経験的ヒューリスティックスに大きく依存する以前のアプローチでは、よく理解されていない。
本研究では,再帰的メタ蒸留のための公理的・演算的枠組みを導入し,確率分布演算子の列として反復的知識蒸留を定式化した。
有効なメタ教師構成のための構造公理を定義し、特定のアルゴリズムや損失関数を指定せずにこれらの公理を満たす非自明な演算子族の存在を証明した。
軽度の実現可能性と凸性仮定の下で、再帰蒸留によりKLの発散が引き起こされ、基底教師分布に幾何収束し、一意に魅力的な固定点が得られることを示す。
このフレームワークは、再帰蒸留が数学的に適切であり、誤差蓄積よりも収束し、モデルアーキテクチャや最適化の詳細、特定の演算子インスタンス化とは独立している場合を特徴付ける。
これらの結果は, キャパシティ制約下での反復蒸留および多教師蒸留における安定性, バイアス分散挙動, 故障モードを理解するための理論的基盤を提供する。
関連論文リスト
- Multi-Teacher Ensemble Distillation: A Mathematical Framework for Probability-Domain Knowledge Aggregation [0.0]
我々は,マルチテラーアンサンブル知識蒸留のための公理的・演算的枠組みを開発した。
特定の集約公式を規定するのではなく、有効な知識集約演算子を管理する5つのコア公理を定義する。
論文 参考訳（メタデータ） (2026-01-14T05:10:36Z) - Sparse Knowledge Distillation: A Mathematical Framework for Probability-Domain Temperature Scaling and Multi-Stage Compression [0.0]
確率領域軟化演算子に基づくスパース知識蒸留のための統一的理論フレームワークを開発する。
本稿では、ランク保存、連続性、エントロピー単調性、アイデンティティ、境界挙動に基づく確率領域軟化作用素の公理的定義を導入する。
その結果、ブラックボックスの教師の蒸留、トップ$k$のトランケーションやテキストのみのアウトプットなどの部分アクセス設定、プライバシに等価なモデル圧縮の理論的基盤を提供する。
論文 参考訳（メタデータ） (2026-01-06T17:17:24Z) - Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。
その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。
テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
論文 参考訳（メタデータ） (2026-01-05T08:04:33Z) - Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。
結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。
カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
論文 参考訳（メタデータ） (2025-11-10T18:29:54Z) - A Foundational Theory of Quantitative Abstraction: Adjunctions, Duality, and Logic for Probabilistic Systems [2.362412515574206]
大規模あるいは連続的な状態空間は、正確に解析しやすくし、原理化された量的抽象を要求する。
この研究は、圏論、コレージュブラ、量論理、最適輸送を統合することで、そのような抽象の統一理論を発展させる。
論文 参考訳（メタデータ） (2025-10-22T10:16:24Z) - Ultracoarse Equilibria and Ordinal-Folding Dynamics in Operator-Algebraic Models of Infinite Multi-Agent Games [0.0]
エージェントの連続体を持つ無限ゲームのための演算子代数的フレームワークを開発する。
非可換連続性方程式によって支配される後悔に基づく学習力学が、一意の量子応答平衡に収束することを証明する。
本稿では,力学の自己参照深度を測定する計算可能な順序値指標である順序折り畳み指数を導入する。
論文 参考訳（メタデータ） (2025-07-25T22:20:42Z) - Transfinite Fixed Points in Alpay Algebra as Ordinal Game Equilibria in Dependent Type Theory [0.0]
本稿では, 自己参照プロセスの安定な結果が, システムと環境との非有界リビジョン対話のユニークな平衡と同一であることを示すことによって, アルペイ・アルゲブラに寄与する。
固定点論、ゲームセマンティクス、順序解析、型理論から概念を統一することにより、この研究は無限の自己参照システムについての推論において、広くアクセス可能で形式的に厳密な基礎を確立する。
論文 参考訳（メタデータ） (2025-07-25T13:12:55Z) - Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse
Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。
本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。
学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
論文 参考訳（メタデータ） (2024-01-10T02:38:21Z) - Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。
論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。
本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
論文 参考訳（メタデータ） (2023-05-19T08:22:23Z) - Discovering Latent Causal Variables via Mechanism Sparsity: A New
Principle for Nonlinear ICA [81.4991350761909]
ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。
潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
論文 参考訳（メタデータ） (2021-07-21T14:22:14Z) - On dissipative symplectic integration with applications to
gradient-based optimization [77.34726150561087]
本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。
我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
論文 参考訳（メタデータ） (2020-04-15T00:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。