論文の概要: CRAD: Class-wise Reliability-Aware Distillation for Decentralized Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2609.00446v1
• Date: Mon, 31 Aug 2026 22:36:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.111817
• Title: CRAD: Class-wise Reliability-Aware Distillation for Decentralized Heterogeneous Federated Learning
• Title（参考訳）: CRAD:分散型不均一フェデレーション学習のためのクラスワイド信頼性を考慮した蒸留
• Abstract要約: フェデレートラーニングのためのクラスワイド・アウェア蒸留(CRAD)を提案する。 CRADはクラス毎の信頼性(精度、逆分散)で各教師を重み付けする 世界的精度で競合する手法を一貫して上回る。
• 参考スコア（独自算出の注目度）: 3.2847672479922783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional federated learning (FL) relies on parameter averaging, which forces clients to be doubly homogeneous: it demands an identical architecture and degrades under non-IID data. Real-world deployments usually break both assumptions. We sidestep both by building a decentralized knowledge distillation framework in which each client evaluates its peers' model snapshots on its own local data and distills from the resulting soft predictions. Because knowledge is transferred through the shared class posterior, clients are free to run different architectures; and because every teacher is evaluated on the student's own device, raw data never leaves the client, with no central server or public dataset required. Within this setting, we identify and address an under-examined problem: how to combine the peer teacher predictions. Existing methods, like uniform averaging, ignore how knowledge reliability varies across teachers and classes. We propose Class-wise Reliability-Aware Distillation (CRAD), which, per class, first discards teachers that disagree with the peer consensus and then takes a weighted average of the rest, weighting each teacher by its per-class reliability (precision, or inverse variance). Since the variance of an accuracy from $n$ samples scales as $1/n$, support enters automatically: among the teachers that survive filtering, a teacher is trusted for a class to the degree that it is both accurate and well-evidenced for it. On three image-classification benchmarks (CIFAR-10, CIFAR-100, and PathMNIST colon pathology), across heterogeneous architectures under severe non-IID skew, CRAD consistently outperforms competing methods in global accuracy.
• Abstract（参考訳）: 従来のフェデレーション学習(FL)はパラメータ平均化に依存しており、クライアントに2倍の均質さを強いる。 現実のデプロイメントは通常、両方の前提を破ります。 我々は、各クライアントが自身のローカルデータに基づいてピアのモデルスナップショットを評価し、その結果のソフトな予測から抽出する分散知識蒸留フレームワークを構築することにより、両者をサイドステップとする。 すべての教師が生徒自身のデバイスで評価されているため、生データはクライアントを離れることはなく、中央サーバーや公開データセットは必要ない。 この設定内では、ピア・教師の予測をどのように組み合わせるかという、未検討の問題を識別し、対処する。 統一平均化のような既存の手法は、教師やクラスによって知識の信頼性がいかに異なるかを無視している。 そこで我々は,クラスごとの信頼性(精度,逆分散)で教師を重み付けし,各教師を重み付けするCRAD(Class-wise Reliability-Aware Distillation)を提案する。 n$サンプルからの精度のばらつきは1/n$にスケールするため、サポートは自動的に入力される。 CRADは3つの画像分類ベンチマーク(CIFAR-10、CIFAR-100、PathMNISTの大腸病理学)において、厳密な非IIDスキュー下での不均一なアーキテクチャを横断し、グローバルな精度で競合する手法を一貫して上回っている。

関連論文リスト

• CALM: Class-wise Agreement and Label-gated Disagreement Modulation for Decentralized Federated Learning [1.1617094867403568]
  CALMは、あらゆる難しい決定をスムーズな信頼ゲートに置き換える。 均一で硬ろ過された蒸留よりも一貫して優れており、競合する異種FL法に適合するか超えている。
  論文  参考訳（メタデータ） (2026-09-05T05:13:07Z)
• Any-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space Bridging [13.653084100002737]
  教師が生徒自身が生成するサンプルを補正するオンライン蒸留は、2つのモデルが同じ言語を話すことを前提にしている。 我々は、Any-OPDについて、任意対の潜流整合発生器間のオンライン蒸留のための最初のフレームワークについて述べる。
  論文  参考訳（メタデータ） (2026-08-04T08:23:57Z)
• AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals [65.71225905458182]
  自己蒸留は、生徒と教師の両方と同じモデルを用いて、言語モデルが自身の軌道から政治学を学ぶことを可能にする。 このセットアップは、別の外部モデルに頼ることなく、密集したトークンレベルのフィードバックを提供する。 複数の特権情報ビューを持つ自己蒸留法であるAVSDを紹介する。
  論文  参考訳（メタデータ） (2026-05-20T03:06:36Z)
• REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency [0.0]
  本稿では、ロバスト統計に基づく原則化されたフレームワークであるREDistillを紹介する。 レディスティルは標準のKD目標をKL分散の一般化であるパワー分散損失に置き換える。 CIFAR-100 と ImageNet-1k の実験では、REDistill は多様な教師/学生アーキテクチャにおける生徒の精度を一貫して向上することを示した。
  論文  参考訳（メタデータ） (2026-02-04T15:50:53Z)
• Prediction-space knowledge markets for communication-efficient federated learning on multimedia tasks [0.0]
  フェデレートラーニング(FL)は、分散マルチメディアデータによる協調トレーニングを可能にする。 FLの予測空間知識取引市場であるKTA v2を提案する。 FEMNIST、CIFAR-10、AG Newsの実験では、KTA v2はローカルのみのベースラインと強力なパラメータベースの手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-11-30T11:24:19Z)
• PLD: A Choice-Theoretic List-Wise Knowledge Distillation [12.52282972328311]
  リストのランク付けを重み付けした "Plackett-Luce Distillation (PLD)" を導入する。 PLDは多様なアーキテクチャや蒸留目標に対して一貫した利益を達成する。
  論文  参考訳（メタデータ） (2025-06-14T15:31:54Z)
• Privacy-Preserved Automated Scoring using Federated Learning for Educational Research [1.2556373621040728]
  本稿では,教育評価の自動評価のための統合学習(FL)フレームワークを提案する。 我々は,2つの最先端FL手法と集中学習ベースラインに対して,我々のモデルをベンチマークする。 その結果,本モデルが最も精度が高い(94.5%)ことが示唆された。
  論文  参考訳（メタデータ） (2025-03-12T19:06:25Z)
• Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher [52.2926020848095]
  フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:04:19Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Towards Semi-Supervised Deep Facial Expression Recognition with An Adaptive Confidence Margin [92.76372026435858]
  Ada-CM(Adaptive Confidence Margin)を学習し、ラベルのないすべてのデータを半教師付き深層表情認識に活用する。 すべてのラベルなしサンプルは、信頼スコアと適応的に学習された信頼マージンを比較して、2つのサブセットに分割される。 提案手法は最先端の性能,特に半教師付きベースラインを超越した性能を実現する。
  論文  参考訳（メタデータ） (2022-03-23T11:43:29Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Knowledge distillation via adaptive instance normalization [52.91164959767517]
  本稿では,教師から生徒への特徴統計の伝達に基づく新しい知識蒸留法を提案する。 本手法は,教師に類似する生徒の平均と分散を強制する標準的な方法を超えている。 以上の結果から, 蒸留法は他の蒸留法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2020-03-09T17:50:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。