論文の概要: Federated Learning of Binary Neural Networks: Enabling Low-Cost Inference

• arxiv url: http://arxiv.org/abs/2603.15507v1
• Date: Mon, 16 Mar 2026 16:35:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.59858
• Title: Federated Learning of Binary Neural Networks: Enabling Low-Cost Inference
• Title（参考訳）: バイナリニューラルネットワークのフェデレーション学習--低コスト推論の導入
• Authors: Nitin Priyadarshini Shankar, Soham Lahiri, Sheetal Kalyani, Saurav Prakash,
• Abstract要約: Federated Learning (FL)は、デバイス間でトレーニングを分散することで、プライバシを保存する。 従来のトレーニング後のバイナライゼーションはモデルのサイズを小さくするが、量子化エラーによる精度の低下に悩まされる。 我々は、ローテーション対応のバイナリニューラルネットワークフレームワークであるFedBNNを提案し、ローカルトレーニング中にバイナリ表現を直接学習する。
• 参考スコア（独自算出の注目度）: 12.80019265228651
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated Learning (FL) preserves privacy by distributing training across devices. However, using DNNs is computationally intensive at the low-powered edge during inference. Edge deployment demands models that simultaneously optimize memory footprint and computational efficiency, a dilemma where conventional DNNs fail by exceeding resource limits. Traditional post-training binarization reduces model size but suffers from severe accuracy loss due to quantization errors. To address these challenges, we propose FedBNN, a rotation-aware binary neural network framework that learns binary representations directly during local training. By encoding each weight as a single bit $\{+1, -1\}$ instead of a $32$-bit float, FedBNN shrinks the model footprint, significantly reducing runtime (during inference) FLOPs and memory requirements in comparison to federated methods using real models. Evaluations across multiple benchmark datasets demonstrate that FedBNN significantly reduces resource consumption while performing similarly to existing federated methods using real-valued models.
• Abstract（参考訳）: Federated Learning (FL)は、デバイス間でトレーニングを分散することで、プライバシを保存する。 しかし、DNNの使用は、推論中に低出力エッジで計算集約的である。 エッジデプロイメントは、メモリフットプリントと計算効率を同時に最適化するモデルを必要とする。 従来のトレーニング後のバイナライゼーションはモデルのサイズを小さくするが、量子化エラーによる精度の低下に悩まされる。 これらの課題に対処するために、ローカルトレーニング中にバイナリ表現を直接学習する回転対応バイナリニューラルネットワークフレームワークであるFedBNNを提案する。 それぞれの重みを32ドルのフロートの代わりに1ビット$\{+1, -1\}$としてエンコードすることで、FedBNNはモデルフットプリントを縮小し、実際のモデルを用いたフェデレーションメソッドと比較してランタイム(推論中)FLOPとメモリ要求を著しく削減する。 複数のベンチマークデータセットから評価すると、FedBNNは実数値モデルを用いた既存のフェデレーション手法と同様に、リソース消費を著しく削減する。

関連論文リスト

• S$^2$NN: Sub-bit Spiking Neural Networks [53.08060832135342]
  スパイキングニューラルネットワーク(SNN)は、マシンインテリジェンスにエネルギー効率のよいパラダイムを提供する。 最近のバイナリSNNの進歩にもかかわらず、大規模ネットワークではストレージと計算の要求が相当に大きい。 1ビット未満の重みを表すサブビットスパイキングニューラルネットワーク(S$2$NNs)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T04:17:44Z)
• Binary domain generalization for sparsifying binary neural networks [3.2462411268263964]
  バイナリニューラルネットワーク(BNN)は、リソース制約のあるデバイスにおいて、ディープニューラルネットワーク(DNN)ベースのアプリケーションを開発、デプロイするための魅力的なソリューションである。 BNNの軽量プルーニングは性能劣化を招き、BNNの標準バイナライズドメインがタスクに適していないことを示唆している。 この研究は、プルーニング技術に対してより堅牢な標準バイナリドメインを拡張した、より一般的なバイナリドメインを提案する。
  論文  参考訳（メタデータ） (2023-06-23T14:32:16Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Binary Early-Exit Network for Adaptive Inference on Low-Resource Devices [3.591566487849146]
  バイナリニューラルネットワーク(BNN)は、実数値モデルと比較して、極端な圧縮とスピードアップによる問題に対処する。 そこで本研究では,BNNを早期導入戦略で統合して推論を高速化する,シンプルだが効果的な手法を提案する。 このアプローチでは、決定しきい値に基づいて単純なインスタンスを早期に終了させ、異なる中間層に追加される出力層を利用してバイナリモデル全体の実行を回避する。
  論文  参考訳（メタデータ） (2022-06-17T22:11:11Z)
• Bimodal Distributed Binarized Neural Networks [3.0778860202909657]
  しかし、バイナリ化技術は、完全精度のものと比べれば、不適格な性能劣化に悩まされる。 バイモーダル分散バイナライゼーション法(メソッド名)を提案する。 これにより、ネットワーク重みのバイモーダルな分布がクルトーシス正規化によって引き起こされる。
  論文  参考訳（メタデータ） (2022-04-05T06:07:05Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
  本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。 我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
  論文  参考訳（メタデータ） (2020-10-19T08:11:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。