論文の概要: TallyTrain: Communication-Efficient Federated Distillation

• arxiv url: http://arxiv.org/abs/2607.00173v1
• Date: Tue, 30 Jun 2026 20:47:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.63766
• Title: TallyTrain: Communication-Efficient Federated Distillation
• Title（参考訳）: TallyTrain: コミュニケーション効率の良いフェデレーション蒸留
• Authors: Radhakrishna Achanta, Will Reed,
• Abstract要約: フェデレーション学習は、2つの軸(モデルサイズとクラス数)で帯域幅が制限される。 クラスカウント軸を$lceil log C rceil$ bits per probe に分解し、各ピアの $argmax$ class index を送信します。 標準ベンチマーク全体では、TallyTrainは最大3桁の通信速度でソフトラベル蒸留にマッチまたは打ち勝つ。
• 参考スコア（独自算出の注目度）: 1.552674656890411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning is bandwidth-bound on two orthogonal axes: model size, which limits how often parameter-averaging methods can afford to merge, and class count, which makes per-probe soft-label distillation prohibitive at large vocabularies. Both ceilings tighten as modern systems scale. We collapse the class-count axis to $\lceil \log_2 C \rceil$ bits per probe by transmitting only each peer's $\arg\max$ class index, where $C$ is the number of output classes. The resulting protocol, TallyTrain, is not merely compressed: under non-IID training it can be preferable to soft-label distillation, because under-trained peers are confidently wrong and majority voting filters this noise where soft-label averaging amplifies it. Across standard benchmarks, TallyTrain matches or beats soft-label distillation at up to three orders of magnitude less communication. We also relax the model-size axis: we compose the cheap hard-label consensus with sparse parameter merges to obtain a bandwidth-bridge variant, which Pareto-dominates every tested operating point of the standard FedAvg, FedProx and FedDF baselines.
• Abstract（参考訳）: フェデレートラーニングは2つの直交軸に帯域幅が制限されている: モデルサイズ - パラメータ吸収法がマージできる頻度を制限する クラスカウント - プロブのソフトラベル蒸留を大語彙で禁止する。 両方の天井は、現代のシステム規模で密閉されている。 クラスカウント軸を$\lceil \log_2 C \rceil$ bits per probeに分解し、各ピアの$\arg\max$クラスインデックスだけを送信します。 非IIDトレーニングでは、未訓練のピアが自信を持って間違っており、大多数の投票者が、ソフトラベル平均化がそれを増幅するこのノイズをフィルタするため、ソフトラベル蒸留よりも好ましい。 標準ベンチマーク全体では、TallyTrainは最大3桁の通信速度でソフトラベル蒸留にマッチまたは打ち勝つ。 パレートが標準のFedAvg、FedProx、FedDFのベースラインでテストされたすべての操作ポイントを支配している帯域幅橋の変種を得るために、スパースパラメータのマージと安価なハードラベルのコンセンサスを構成する。

関連論文リスト

• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• A Closed-Form Persistence-Landmark Pipeline for Certified Point-Cloud and Graph Classification [0.0]
  PLACE(Persistence-Landmark Analytic Classification Engine)は、点雲とグラフを分類するためのクローズドフォームパイプラインである。 3つの量的保証 -- マージンベースの過剰リスク率、クローズドフォーム記述子選択ルール、プレディションごとの証明書 -- は、トレーニングラベルのみから導かれる。
  論文  参考訳（メタデータ） (2026-05-04T17:15:01Z)
• Learning Sparse Label Couplings for Multilabel Chest X-Ray Diagnosis [0.5735035463793009]
  胸部X線のマルチラベル分類について検討し,SE-ResNeXt101$(32×4d)$で構築した単純で強力なパイプラインについて述べる。 背骨はS状骨頭で14個の胸骨に微細化され,Multilabel Iterative Stratification (MIS) を併用し,堅牢なクロスバリデーションを施行した。 分類器の後に置かれる軽量なラベルグラフ再分極モジュールを提案する: ラベルごとの確率が与えられた場合、スパースで訓練可能なラベル間結合行列を学習する。
  論文  参考訳（メタデータ） (2025-11-11T03:38:01Z)
• Certified Robustness Under Bounded Levenshtein Distance [55.54271307451233]
  畳み込み型分類器のリプシッツ定数をレヴェンシュテイン距離に対して計算する最初の方法を提案する。 我々の方法であるLipsLevは、それぞれ18.80ドル%と13.93ドル%の精度を1ドルと2ドルで得ることができる。
  論文  参考訳（メタデータ） (2025-01-23T13:58:53Z)
• Communication-efficient Vertical Federated Learning via Compressed Error Feedback [24.32409923443071]
  ロスシー圧縮は、トレーニング中にサーバとクライアントの間で通信される情報に一般的に使用される。 水平FLでは、訓練サブセットの各サブセットは、その情報のサブセットを保持する。 本稿では,各クライアントが情報サブセットのサブセットを保持する垂直FLのトレーニング手法を提案する。 目的関数がpolyak-Lojasiewiczの不等式を満たすとき、この方法は線型収束する。
  論文  参考訳（メタデータ） (2024-06-20T15:40:38Z)
• JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
  半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。 擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。 我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-23T05:43:35Z)
• Label-Noise Learning with Intrinsically Long-Tailed Data [65.41318436799993]
  本稿では,本質的な長期データを用いたラベルノイズ学習のための学習フレームワークを提案する。 具体的には, 2段階の2次元試料選択法(TABASCO)を提案する。
  論文  参考訳（メタデータ） (2022-08-21T07:47:05Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。