論文の概要: FOBNN: Fast Oblivious Inference via Binarized Neural Networks

• arxiv url: http://arxiv.org/abs/2405.03136v2
• Date: Sun, 10 Aug 2025 06:35:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.037553
• Title: FOBNN: Fast Oblivious Inference via Binarized Neural Networks
• Title（参考訳）: FOBNN: バイナリニューラルネットワークによる高速な未知の推論
• Authors: Xin Chen, Zhili Chen, Shiwen Wei, Junqing Gong, Lin Chen,
• Abstract要約: 本稿では,二元化ニューラルネットワークを用いた高速なOblivious推論フレームワークであるFOBNNを提案する。 我々はビット長境界(BLB)アルゴリズムを開発し,ビット表現の最小化と冗長計算の低減を図る。 また、リンク最適化と構造探索により、二項化ニューラルネットワーク構造も強化する。
• 参考スコア（独自算出の注目度）: 13.635520737380103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable performance of deep learning has sparked the rise of Deep Learning as a Service (DLaaS), allowing clients to send their personal data to service providers for model predictions. A persistent challenge in this context is safeguarding the privacy of clients' sensitive data. Oblivious inference allows the execution of neural networks on client inputs without revealing either the inputs or the outcomes to the service providers. In this paper, we propose FOBNN, a Fast Oblivious inference framework via Binarized Neural Networks. In FOBNN, through neural network binarization, we convert linear operations (e.g., convolutional and fully-connected operations) into eXclusive NORs (XNORs) and an Oblivious Bit Count (OBC) problem. For secure multiparty computation techniques, like garbled circuits or bitwise secret sharing, XNOR operations incur no communication cost, making the OBC problem the primary bottleneck for linear operations. To tackle this, we first propose the Bit Length Bounding (BLB) algorithm, which minimizes bit representation to decrease redundant computations. Subsequently, we develop the Layer-wise Bit Accumulation (LBA) algorithm, utilizing pure bit operations layer by layer to further boost performance. We also enhance the binarized neural network structure through link optimization and structure exploration. The former optimizes link connections given a network structure, while the latter explores optimal network structures under same secure computation costs. Our theoretical analysis reveals that the BLB algorithm outperforms the state-of-the-art OBC algorithm by a range of 17% to 55%, while the LBA exhibits an improvement of nearly 100%. Comprehensive proof-of-concept evaluation demonstrates that FOBNN outperforms prior art on popular benchmarks and shows effectiveness in emerging bioinformatics.
• Abstract（参考訳）: ディープラーニングの顕著なパフォーマンスは、ディープラーニング・アズ・ア・サービス(DLaaS)の台頭を呼んだ。 このコンテキストにおける永続的な課題は、クライアントの機密データのプライバシを保護することだ。 曖昧な推論は、入力とサービスプロバイダへの結果の両方を明らかにすることなく、クライアント入力上でニューラルネットワークの実行を可能にする。 本稿では,二元化ニューラルネットワークを用いた高速なOblivious推論フレームワークであるFOBNNを提案する。 FOBNNでは、ニューラルネットワークバイナライゼーションにより、線形演算(例えば、畳み込みおよび完全接続操作)をeXclusive NOR(XNOR)とOblivious Bit Count(OBC)問題に変換する。 ガーブラード回路やビット単位の秘密共有のようなセキュアなマルチパーティ計算技術では、XNOR演算は通信コストを伴わず、OBC問題は線形演算の主要なボトルネックとなる。 そこで本研究では,ビット表現の最小化と冗長計算の削減を目的としたビット長境界(BLB)アルゴリズムを提案する。 次に,LBA(Layer-wise Bit Accumulation)アルゴリズムを開発した。 また、リンク最適化と構造探索により、二項化ニューラルネットワーク構造も強化する。 前者はネットワーク構造が与えられたリンク接続を最適化し、後者は同じ安全な計算コストで最適なネットワーク構造を探索する。 理論解析の結果,BLBアルゴリズムは最先端のOBCアルゴリズムよりも17%から55%向上し,LBAは100%近く改善していることがわかった。 包括的概念的評価は、FOBNNが一般的なベンチマークで先行技術より優れており、新たなバイオインフォマティクスの有効性を示していることを示している。

関連論文リスト

• Information-Bottleneck Driven Binary Neural Network for Change Detection [53.866667209237434]
  Binarized Change Detection (BiCD) は、変更検出用に設計された最初のバイナリニューラルネットワーク(BNN)である。 Information Bottleneck (IB) の原則に基づく補助的目的を導入し,本質的な入力情報を保持するようにエンコーダを誘導する。 BiCDは、BNNベースの変更検出のための新しいベンチマークを確立し、この領域で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-07-04T11:56:16Z)
• BiDense: Binarization for Dense Prediction [62.70804353158387]
  BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
  論文  参考訳（メタデータ） (2024-11-15T16:46:04Z)
• Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
  ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証において最も効果的な手法の一つである。 我々は、一般的な非線形性にBaBを実行し、一般的なアーキテクチャでNNを検証する汎用フレームワークGenBaBを開発した。 我々のフレームワークは、一般的な非線形グラフの検証を可能にし、単純なNNを超えた検証アプリケーションを可能にする。
  論文  参考訳（メタデータ） (2024-05-31T17:51:07Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• A Mixed Integer Programming Approach for Verifying Properties of Binarized Neural Networks [44.44006029119672]
  BNN検証のための混合整数計画法を提案する。 我々は,MNISTデータセットと航空機衝突回避制御器を用いて訓練したBNNの特性を検証することによって,我々のアプローチを実証する。
  論文  参考訳（メタデータ） (2022-03-11T01:11:29Z)
• End-to-End Learning of Deep Kernel Acquisition Functions for Bayesian Optimization [39.56814839510978]
  ニューラルネットワークに基づくカーネルを用いたベイズ最適化のためのメタラーニング手法を提案する。 我々のモデルは、複数のタスクから強化学習フレームワークによって訓練されている。 3つのテキスト文書データセットを用いた実験において,提案手法が既存の手法よりも優れたBO性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-01T00:42:31Z)
• RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting and Output Merging [36.027765880474526]
  Pruning Deep Neural Networks (DNN) は、推論ランタイムアクセラレーションの目標において、顕著な研究分野である。 本稿では,新しいデータフリープルーニングプロトコルRED++を紹介する。 ハッシュによる精度の保存に関する理論的および実証的な保証について検討する。
  論文  参考訳（メタデータ） (2021-09-30T09:31:11Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• A Bop and Beyond: A Second Order Optimizer for Binarized Neural Networks [0.0]
  Binary Neural Networks (BNNs) の最適化は、実数値の重みをバイナライズ表現で近似することに依存している。 本稿では,第2の生モーメント推定を用いて第1の生モーメントを正規化し,しきい値との比較を行うアダム法と並行する手法を提案する。 提案した2つのバージョン – バイアス付きバージョンとバイアス修正バージョン – をそれぞれ独自のアプリケーションで提示する。
  論文  参考訳（メタデータ） (2021-04-11T22:20:09Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Distillation Guided Residual Learning for Binary Convolutional Neural Networks [83.6169936912264]
  Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。 我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。 性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。 このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
  論文  参考訳（メタデータ） (2020-07-10T07:55:39Z)
• Efficient Computation Reduction in Bayesian Neural Networks Through Feature Decomposition and Memorization [10.182119276564643]
  本稿では,計算コストを削減するため,効率的なBNN推論フローを提案する。 計算の約半分は従来の手法と比べて取り除くことができる。 We implement our approach in Verilog and synthesise it with 45 $nm$ FreePDK technology。
  論文  参考訳（メタデータ） (2020-05-08T05:03:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。