論文の概要: Collaborative Adaptive Curriculum for Progressive Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2603.20296v1
• Date: Thu, 19 Mar 2026 04:44:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:38.813791
• Title: Collaborative Adaptive Curriculum for Progressive Knowledge Distillation
• Title（参考訳）: 進行的知識蒸留のための協調的適応型カリキュラム
• Authors: Jing Liu, Zhenchao Ma, Han Yu, Bobo Ju, Wenliang Yang, Chengfang Li, Bo Hu, Liang Song,
• Abstract要約: 適応的知識伝達を編成する合意駆動型フレームワークであるFederated Adaptive Progressive Distillation (FAPD)を紹介する。 FAPDは、固定複雑さアプローチよりも優れた収束性を確保しつつ、知識伝達ペースを良好に適応する。
• 参考スコア（独自算出の注目度）: 26.06877347378308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in collaborative knowledge distillation have demonstrated cutting-edge performance for resource-constrained distributed multimedia learning scenarios. However, achieving such competitiveness requires addressing a fundamental mismatch: high-dimensional teacher knowledge complexity versus heterogeneous client learning capacities, which currently prohibits deployment in edge-based visual analytics systems. Drawing inspiration from curriculum learning principles, we introduce Federated Adaptive Progressive Distillation (FAPD), a consensus-driven framework that orchestrates adaptive knowledge transfer. FAPD hierarchically decomposes teacher features via PCA-based structuring, extracting principal components ordered by variance contribution to establish a natural visual knowledge hierarchy. Clients progressively receive knowledge of increasing complexity through dimension-adaptive projection matrices. Meanwhile, the server monitors network-wide learning stability by tracking global accuracy fluctuations across a temporal consensus window, advancing curriculum dimensionality only when collective consensus emerges. Consequently, FAPD provably adapts knowledge transfer pace while achieving superior convergence over fixed-complexity approaches. Extensive experiments on three datasets validate FAPD's effectiveness: it attains 3.64% accuracy improvement over FedAvg on CIFAR-10, demonstrates 2x faster convergence, and maintains robust performance under extreme data heterogeneity (α=0.1), outperforming baselines by over 4.5%.
• Abstract（参考訳）: 近年のコラボレーティブな知識蒸留の進歩により,資源制約のある分散マルチメディア学習シナリオにおける最先端の性能が実証されている。 しかし、そのような競争力を達成するには、基本的なミスマッチに対処する必要がある。高次元の教師知識複雑性と異種クライアント学習能力は、現在エッジベースのビジュアル分析システムへの展開を禁止している。 カリキュラム学習の原則からインスピレーションを得たFAPD(Federated Adaptive Progressive Distillation)は,適応的知識伝達を組織化するコンセンサス駆動のフレームワークである。 FAPDは教師の特徴をPCAベースの構造化によって階層的に分解し、分散コントリビューションによって順序付けられた主成分を抽出し、自然な視覚的知識階層を確立する。 クライアントは次元適応的射影行列を通じて複雑さの増大に関する知識を徐々に受け取ります。 一方、サーバは、時間的コンセンサスウィンドウ全体にわたるグローバルな精度変動を追跡し、集合コンセンサスの発生時にのみカリキュラムの次元性を向上させることにより、ネットワーク全体の学習安定性を監視する。 その結果、FAPDは、固定複雑さアプローチよりも優れた収束性を確保しつつ、知識伝達ペースを良好に適応する。 CIFAR-10ではFedAvgよりも3.64%精度が向上し、2倍高速な収束を示し、極端なデータ不均一性(α=0.1)の下で頑健なパフォーマンスを維持し、ベースラインを4.5%以上上回る。

関連論文リスト

• FedReplay: A Feature Replay Assisted Federated Transfer Learning Framework for Efficient and Privacy-Preserving Smart Agriculture [12.147898852881914]
  本稿では,フリーズコントラスト言語-画像事前学習(CLIP)ビジョントランスフォーマ(ViT)を軽量なトランスフォーマー分類器に統合するフェデレーション学習フレームワークを提案する。 提案手法の精度は86.6%であり,ベースライン・フェデレーション学習手法の4倍以上である。
  論文  参考訳（メタデータ） (2025-10-31T21:44:52Z)
• Agentic-KGR: Co-evolutionary Knowledge Graph Construction through Multi-Agent Reinforcement Learning [6.665920297143511]
  Agentic-KGRは、大規模言語モデル(LLM)と知識グラフ(KG)の共進化を可能にする新しいフレームワークである。 提案手法では,(1)事前定義された境界を超えてグラフを体系的に拡張する動的スキーマ拡張機構,(2)連続最適化によるモデルパラメータと知識構造間の相乗的共進化を可能にする検索強化メモリシステム,(3)適応シーケンス最適化による計算複雑性を低減しつつ,重要な情報を保存する学習可能なマルチスケールプロンプト圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-10-10T09:00:07Z)
• AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
  スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。 トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。 AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
  論文  参考訳（メタデータ） (2025-10-09T06:38:37Z)
• Continual Action Quality Assessment via Adaptive Manifold-Aligned Graph Regularization [53.82400605816587]
  アクション品質アセスメント(AQA)は、ビデオにおける人間の行動を定量化し、スポーツスコアリング、リハビリテーション、スキル評価の応用を支援する。 大きな課題は、現実世界のシナリオにおける品質分布の非定常的な性質にある。 本稿では,進化する分布を扱うための連続学習機能を備えた連続AQA(Continuous AQA)を紹介する。
  論文  参考訳（メタデータ） (2025-10-08T10:09:47Z)
• Divide-Then-Align: Honest Alignment based on the Knowledge Boundary of RAG [51.120170062795566]
  本稿では,問合せが知識境界外にある場合の"I don't know"で応答する機能を備えたRAGシステムを実現するためのDTAを提案する。 DTAは適切な棄権と精度のバランスをとり、検索強化システムの信頼性と信頼性を高める。
  論文  参考訳（メタデータ） (2025-05-27T08:21:21Z)
• HFedCKD: Toward Robust Heterogeneous Federated Learning via Data-free Knowledge Distillation and Two-way Contrast [10.652998357266934]
  データフリーな知識蒸留と双方向コントラスト(HFedCKD)に基づくヘテロジニアスフェデレーション方式を提案する。 HFedCKDは、データフリーな知識蒸留における低い参加率による知識オフセットを効果的に軽減し、モデルの性能と安定性を向上させる。 我々は画像とIoTデータセットに関する広範な実験を行い、提案したHFedCKDフレームワークの一般化と堅牢性を包括的に評価し、検証する。
  論文  参考訳（メタデータ） (2025-03-09T08:32:57Z)
• TriplePlay: Enhancing Federated Learning with CLIP for Non-IID Data and Resource Efficiency [0.0]
  TriplePlayはCLIPをアダプタとして統合し、さまざまなデータ分散に対するFLの適応性とパフォーマンスを向上させるフレームワークである。 シミュレーションの結果,TriplePlayはGPU使用コストを効果的に削減し,学習プロセスの高速化を実現し,通信オーバーヘッドの低減を図っている。
  論文  参考訳（メタデータ） (2024-09-09T06:04:42Z)
• FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
  フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。 我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。 我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
  論文  参考訳（メタデータ） (2024-05-20T06:12:33Z)
• Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher [52.2926020848095]
  フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:04:19Z)
• GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
  Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。 我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。 学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
  論文  参考訳（メタデータ） (2022-12-07T10:19:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。