論文の概要: Knowledge Cascade: Reverse Knowledge Distillation on Nonparametric Multivariate Functional Estimation

• arxiv url: http://arxiv.org/abs/2606.25927v1
• Date: Wed, 24 Jun 2026 15:06:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.364265
• Title: Knowledge Cascade: Reverse Knowledge Distillation on Nonparametric Multivariate Functional Estimation
• Title（参考訳）: 知識カスケード:非パラメトリック多変量関数推定における逆知識蒸留
• Abstract要約: KCas(Knowledge Cascade)は,小規模で安価な学生モデルからの情報を用いて,より複雑な教師モデルの開発を支援する,逆知識蒸留フレームワークである。 KCasは、強い統計性能を維持しながらかなりの計算の節約を達成し、時には対応するフルサンプルの手順より優れる。
• 参考スコア（独自算出の注目度）: 8.037689007212919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As machine learning models and datasets continue to grow, developing complex models has become increasingly computationally demanding. Knowledge distillation reduces deployment cost by compressing a large, well-trained teacher model into a compact student model, but it does not address settings where constructing the teacher itself is the bottleneck. Motivated by this challenge, we introduce Knowledge Cascade (KCas), a reverse knowledge distillation framework that uses information from a small, inexpensive student model to guide the development of a more complex teacher model. Although this direction is counterintuitive because the teacher typically has greater representational capacity, we show that student-to-teacher transfer can be principled when supported by statistical scaling relationships. We first develop KCas for nonparametric multivariate functional estimation in reproducing kernel Hilbert spaces via smoothing splines, where selecting multiple smoothing parameters is a major computational bottleneck. KCas transfers student-selected smoothing parameters to the full-sample regime through asymptotic scaling laws, substantially reducing computational cost for high-dimensional and large-scale datasets while retaining theoretical guarantees. Beyond smoothing splines, we illustrate the same principle through kernel density estimation and deep learning hyperparameter transfer. Simulations and real-data experiments show that KCas achieves substantial computational savings while maintaining strong statistical performance, and can sometimes outperform the corresponding full-sample procedure.
• Abstract（参考訳）: 機械学習モデルとデータセットが成長を続けるにつれ、複雑なモデルの開発はますます計算的に要求されるようになっている。 知識蒸留は、大きく訓練された教師モデルをコンパクトな学生モデルに圧縮することで、導入コストを削減するが、教師自体がボトルネックとなるような設定には対処しない。 この課題に触発されたKCas(Knowledge Cascade)は,小規模で安価な学生モデルからの情報を用いて,より複雑な教師モデルの開発を導く逆知識蒸留フレームワークである。 この方向は、教師が表現能力が大きいため直感的ではないが、統計的スケーリング関係によって支援された場合、生徒と教師の移動が原則であることが示される。 我々はまず、スムージングスプラインを用いて、再現されたカーネルヒルベルト空間における非パラメトリック多変量関数推定のためのKCaを開発し、そこでは、複数のスムージングパラメータを選択することが大きな計算ボトルネックとなる。 KCasは、高次元および大規模データセットの計算コストを大幅に削減し、理論的な保証を維持しながら、学生選択された平滑化パラメータを漸近的なスケーリング法則を通じてフルサンプル状態に転送する。 スプラインの平滑化以外にも、カーネル密度推定とディープラーニングハイパーパラメータ転送でも同様の原理を説明している。 シミュレーションと実データ実験により、KCasは強力な統計性能を維持しながらかなりの計算的節約を達成し、時にはそれに対応するフルサンプル法よりも優れていることが示されている。

関連論文リスト

• MAVEN-T: Multi-Agent enVironment-aware Enhanced Neural Trajectory predictor with Reinforcement Learning [0.0]
  MAVEN-Tは、最先端の軌跡予測を実現する教師学習フレームワークである。 伝統的な蒸留の模擬天井を克服するために強化学習が組み込まれている。 NGSIMと高次元データセットの実験では、6.2倍のパラメータ圧縮と3.7倍の推論速度が示されている。
  論文  参考訳（メタデータ） (2026-04-11T11:34:13Z)
• Scalable Learning of Multivariate Distributions via Coresets [48.02318786960811]
  我々は,多変量条件変換モデル(MCTM)のための新しいコアセットの構築を行い,そのスケーラビリティと訓練効率を向上させる。 提案手法は,重要サンプリングによる大幅なデータ削減を実現する。 これまでコアセットが組み込まれてきた従来のフルパラメトリックモデルと比較して,我々の半パラメトリックアプローチは適応性の向上を示す。
  論文  参考訳（メタデータ） (2026-03-20T09:28:43Z)
• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
  textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。 SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
  論文  参考訳（メタデータ） (2025-01-04T20:51:51Z)
• Over-parameterized Student Model via Tensor Decomposition Boosted Knowledge Distillation [10.48108719012248]
  我々は、より大規模な教師モデルを模倣するために、コンパクトな学生モデルを訓練する知識蒸留(KD)に焦点を当てる。 これまでの作業の多くとは対照的に、トレーニング中の学生モデルのパラメータをスケールアップする。
  論文  参考訳（メタデータ） (2024-11-10T12:40:59Z)
• Parallel and Limited Data Voice Conversion Using Stochastic Variational Deep Kernel Learning [2.5782420501870296]
  本稿では,限られたデータを扱う音声変換手法を提案する。 変分深層学習(SVDKL)に基づく。 非滑らかでより複雑な関数を推定することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:32:47Z)
• Multi-fidelity Fourier Neural Operator for Fast Modeling of Large-Scale Geological Carbon Storage [0.0]
  本稿では,大規模炭素貯蔵問題の解決にFNO(Multi-fidelity Fourier Neural operator)を提案する。 我々はまず,GCS貯水池モデル上で110kの格子セルに離散化されたモデルの有効性を検証した。 マルチ忠実度モデルは、同じ量の高忠実度データを81%のコストでトレーニングした高忠実度モデルに匹敵する精度で予測できる。
  論文  参考訳（メタデータ） (2023-08-17T17:44:59Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。