論文の概要: Beyond a Single Sign: BiTE for Branch-Preserving Binary Threshold Expansion
- arxiv url: http://arxiv.org/abs/2611.17576v1
- Date: Thu, 12 Nov 2026 22:56:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.273839
- Title: Beyond a Single Sign: BiTE for Branch-Preserving Binary Threshold Expansion
- Title(参考訳): シングルサインを超えて: 分岐保存バイナリ閾値拡張のためのBiTE
- Abstract要約: 我々は、各特徴方向を$K$のしきい値に対して評価するtextbfBiTE(ブランチ保存バイナリ閾値拡張)を提案する。
BiTEは最大$K+1$のアクティベーション状態まで区別できるが、次のオペレータは閾値応答ごとに別の変換を学ぶことができる。
BinaryViT では、BiTE は終末のTop-1 の精度を74.60pm0.30%$から75.83pm0.15%$に改善し、CIFAR-10 では42.80pm0.46%$から44.07pm0.12%$に改善した。
- 参考スコア(独自算出の注目度): 2.765755281300255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Binary neural networks (BNNs) reduce model storage and replace many arithmetic operations with efficient bitwise computations, but the single-sign activation limits their representational capacity. Each preactivation direction is compared with one threshold and reduced to one of two values, discarding variation within each sign region. We propose \textbf{BiTE} (Branch-Preserving Binary Threshold Expansion), which evaluates each feature direction against $K$ ordered thresholds and retains the resulting binary responses as separate inputs to the following learned operator. BiTE can distinguish up to $K+1$ ordered activation states while allowing the following operator to learn a separate transformation for each threshold response. It also enables a controllable trade-off between the number of independently constructed feature directions and the number of ordered responses extracted from each direction. On BinaryViT, BiTE improves mean final-epoch Top-1 accuracy from $74.60\pm0.30\%$ to $75.83\pm0.15\%$ on CIFAR-10 and from $42.80\pm0.46\%$ to $44.07\pm0.32\%$ on CIFAR-100, with nearly unchanged trainable parameter counts. A matched uniform-collapse control reaches $75.33\pm0.15\%$ on CIFAR-10, supporting the value of retaining the threshold responses separately relative to the evaluated scalar collapse. Binary VGG-16 experiments further show a favorable observed parameter--accuracy trade-off, including a configuration that achieves $0.64$ percentage points higher mean accuracy with $21.8\%$ fewer parameters than conventional width scaling. Overall, these results support branch-preserving threshold expansion as an effective way to improve binary representations and the observed parameter--accuracy trade-off.
- Abstract(参考訳): バイナリニューラルネットワーク(BNN)はモデルストレージを削減し、多くの演算処理を効率的なビット演算に置き換えるが、シングルサインのアクティベーションは表現能力を制限する。
各プリアクティベーション方向を1つのしきい値と比較し、2つの値のうちの1つに減らし、各符号領域内でのばらつきを解消する。
我々は,各特徴方向を$K$のしきい値に対して評価し,その結果のバイナリ応答を次の学習演算子への別の入力として保持する,‘textbf{BiTE}(ブランチ保存バイナリ閾値拡張)’を提案する。
BiTEは最大$K+1$のアクティベーション状態まで区別できるが、次のオペレータは閾値応答ごとに別の変換を学ぶことができる。
また、独立に構築された特徴方向の数と各方向から抽出された順序応答の数との制御可能なトレードオフを可能にする。
BinaryViT では、BiTE は、最終段階のTop-1 の精度を74.60\pm0.30\%$から75.83\pm0.15\%$に改善し、CIFAR-10 では42.80\pm0.46\%$から44.07\pm0.32\%$に改善した。
一致した一様崩壊制御は、CIFAR-10上で75.33\pm0.15\%に達し、評価されたスカラー崩壊に対して閾値応答を別々に保持する値をサポートする。
バイナリVGG-16実験では、従来の幅スケーリングよりも平均精度が0.64ドル、パラメータが21.8セント%低い構成を含む、良好なパラメータ精度トレードオフが示されている。
これらの結果は、分岐保存しきい値拡張を、バイナリ表現の改善と観察されたパラメータ-精度トレードオフの効果的な方法として支援する。
関連論文リスト
- Partial-Revelation Panel Forecasting: Predictive Information Gain, Allocation, and Coarsening-Consistent Operators [5.670508333821441]
前のダイアログターンで$k$$$n$ annotator 票が与えられると、次のターンのパネルの総数分布を予測する。
我々は、閉形式のディリクレ・マルチノミカルな実現、学習完了、レーダ数移動を伴う粗い一貫性のあるパネル演算子を用いる。
論文 参考訳(メタデータ) (2026-10-16T02:18:54Z) - BiKAN: Restoring Collapsed Basis of Binary Kolmogorov--Arnold Networks [6.860988566886594]
Kolmogorov-Arnold Network(KAN)のバイナリ化は各レイヤで利用可能な関数空間を変更する。
提案するBiKANは,各2進数2のWalsh文字を加算することにより,この問題に対処する。
W1A1では、ビカンは99.48%、84.38%、Mは55.81%、401AR-10は72AR-100である。
論文 参考訳(メタデータ) (2026-08-02T20:49:59Z) - The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。
このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
論文 参考訳(メタデータ) (2026-04-23T02:12:58Z) - Gated-SwinRMT: Unifying Swin Windowed Attention with Retentive Manhattan Decay via Input-Dependent Gating [0.6945765172815976]
Gated-SwinRMTは、Swin Transformerのシフトウインドウの注意とRetentive Networks (RMT)のマンハッタン距離空間減衰を組み合わせたハイブリッド・ビジョン・トランスフォーマーのファミリーである。
Gated-SwinRMT-SWATは、ソフトマックスにシグモイド活性化を代用し、乗算後空間崩壊を伴うバランスの取れたALiBi斜面を実装し、SwiGLUを介して値投影をゲートする。
Gated-SwinRMT-Retentionは、追加の対数空間崩壊バイアスでソフトマックス正規化保持を維持し、明示的なG1シグモイドゲートを組み込む
論文 参考訳(メタデータ) (2026-04-07T16:12:31Z) - A High-Accuracy Optical Music Recognition Method Based on Bottleneck Residual Convolutions [0.036971941442545786]
光音楽認識は、印刷または手書きの楽譜画像を編集可能な記号表現に変換することを目的としている。
本稿では、残差ボトルネック畳み込みと双方向ゲート再帰ユニット(BiGRU)に基づくシーケンスモデリングを組み合わせたエンドツーエンドのOMRフレームワークを提案する。
Camera-PrIMuSとPrIMuSデータセットの実験結果から,提案フレームワークの有効性が示された。
論文 参考訳(メタデータ) (2026-04-07T14:32:16Z) - A Quantization-Aware Training Based Lightweight Method for Neural Distinguishers [4.751864584128287]
2019年、ゴアはディープニューラルネットワークの微分暗号解析への応用を開拓した。
本研究では,量子化学習に基づく軽量なニューラル差別化手法を提案する。
論文 参考訳(メタデータ) (2026-03-06T00:52:49Z) - Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。
我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。
この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
論文 参考訳(メタデータ) (2025-10-17T02:58:35Z) - Rapid Person Re-Identification via Sub-space Consistency Regularization [51.76876061721556]
Person Re-Identification (ReID) は、歩行者を分離したカメラで識別する。
実値特徴記述子を用いた既存のReID法は精度が高いが、ユークリッド距離計算が遅いため効率が低い。
本稿では,ReID 処理を 0.25 倍高速化するサブスペース一貫性規則化 (SCR) アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-07-13T02:44:05Z) - Paraformer: Fast and Accurate Parallel Transformer for
Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。
出力トークンの数を正確に予測し、隠れた変数を抽出する。
10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
論文 参考訳(メタデータ) (2022-06-16T17:24:14Z) - Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。
我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。
すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文 参考訳(メタデータ) (2020-03-25T17:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。