論文の概要: Quadratic Unconstrained Binary Optimisation for Training and Regularisation of Binary Neural Networks

• arxiv url: http://arxiv.org/abs/2601.00449v1
• Date: Thu, 01 Jan 2026 19:21:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.453007
• Title: Quadratic Unconstrained Binary Optimisation for Training and Regularisation of Binary Neural Networks
• Title（参考訳）: 2次ニューラルネットワークのトレーニングと正規化のための2次非拘束バイナリ最適化
• Authors: Jonas Christoffer Villumsen, Yusuke Sugita,
• Abstract要約: バイナリニューラルネットワーク(BNN)の訓練は、その個々の特性のため、計算的に困難である。 制約のないバイナリ最適化(QUBO)に基づくBNNのトレーニングフレームワークの提案 我々は、任意のネットワークトポロジに対応するために既存のQUBOモデルを拡張し、正規化のための2つの新しい方法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Advances in artificial intelligence (AI) and deep learning have raised concerns about its increasing energy consumption, while demand for deploying AI in mobile devices and machines at the edge is growing. Binary neural networks (BNNs) have recently gained attention as energy and memory efficient models suitable for resource constrained environments; however, training BNNs exactly is computationally challenging because of its discrete characteristics. Recent work proposing a framework for training BNNs based on quadratic unconstrained binary optimisation (QUBO) and progress in the design of Ising machines for solving QUBO problems suggest a potential path to efficiently optimising discrete neural networks. In this work, we extend existing QUBO models for training BNNs to accommodate arbitrary network topologies and propose two novel methods for regularisation. The first method maximises neuron margins biasing the training process toward parameter configurations that yield larger pre-activation magnitudes. The second method employs a dropout-inspired iterative scheme in which reduced subnetworks are trained and used to adjust linear penalties on network parameters. We apply the proposed QUBO formulation to a small binary image classification problem and conduct computational experiments on a GPU-based Ising machine. The numerical results indicate that the proposed regularisation terms modify training behaviour and yield improvements in classification accuracy on data not present in the training set.
• Abstract（参考訳）: 人工知能(AI)とディープラーニングの進歩は、そのエネルギー消費の増加に対する懸念を高め、一方、モバイルデバイスやマシンにAIをデプロイする需要は拡大している。 バイナリニューラルネットワーク(BNN)は最近、資源制約環境に適したエネルギーとメモリ効率のモデルとして注目されているが、BNNの訓練はその離散的な特性のため、正確には計算的に困難である。 二次的非制約バイナリ最適化(QUBO)に基づくBNNのトレーニングフレームワークの提案とQUBO問題を解決するためのIsingマシンの設計の進歩は、離散ニューラルネットワークを効率的に最適化するための潜在的な道筋を示唆している。 本研究では、任意のネットワークトポロジに対応するため、BNNをトレーニングするための既存のQUBOモデルを拡張し、正規化のための2つの新しい手法を提案する。 第1の方法は、トレーニング過程をパラメータ設定に偏らせるニューロンのマージンを最大化することで、より大きなプレアクティベーションサイズが得られる。 第2の方法は、減算サブネットをトレーニングし、ネットワークパラメータの線形ペナルティを調整する、ドロップアウトインスパイアされた反復スキームを用いる。 提案したQUBOの定式化を小さなバイナリ画像分類問題に適用し,GPUベースのIsingマシン上で計算実験を行う。 数値計算の結果,提案した正規化条件はトレーニング行動を変化させ,トレーニングセットに存在しないデータに対する分類精度を向上することが示された。

関連論文リスト

• BEP: A Binary Error Propagation Algorithm for Binary Neural Networks Training [21.908847701590428]
  バイナリニューラルネットワーク(BNN)は、計算複雑性、メモリフットプリント、エネルギー消費を大幅に削減する。 しかしながら、勾配に基づく最適化によるBNNのトレーニングは、変数の離散的な性質のため、依然として困難である。 本稿では、バックプロパゲーション・チェーン・ルールの原則化された離散的アナログを確立するための最初の学習アルゴリズムであるBEP(Binary Error Propagation)を提案する。
  論文  参考訳（メタデータ） (2025-12-03T19:03:55Z)
• A lifted Bregman strategy for training unfolded proximal neural network Gaussian denoisers [8.343594411714934]
  屈曲した近位ニューラルネットワーク(PNN)は、深層学習と近位最適化のアプローチを組み合わせた一連の手法である。 展開されたPNNに対するBregman距離に基づく揚力トレーニングの定式化を提案する。 画像復調の数値シミュレーションにより,提案したPNNのトレーニング手法の挙動を評価する。
  論文  参考訳（メタデータ） (2024-08-16T13:41:34Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• BiSNN: Training Spiking Neural Networks with Binary Weights via Bayesian Learning [37.376989855065545]
  Spiking Neural Networks(SNN)は、エネルギー効率を高める生物学的にインスパイアされたダイナミックなイベント駆動モデルです。 時間的にスパースなバイナリアクティベーションとバイナリ重みの利点を組み合わせたSNNモデルが導入された。 実験は、フル精度実装に関するパフォーマンス損失を検証します。
  論文  参考訳（メタデータ） (2020-12-15T14:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。