論文の概要: 1 bit is all we need: binary normalized neural networks

• arxiv url: http://arxiv.org/abs/2509.07025v1
• Date: Sun, 07 Sep 2025 13:27:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.035381
• Title: 1 bit is all we need: binary normalized neural networks
• Title（参考訳）: 1ビットで十分です バイナリ正規化ニューラルネットワーク
• Authors: Eduardo Lobo Lustoda Cabral, Paulo Pirozelli, Larissa Driemeier,
• Abstract要約: 単一ビットパラメータのみを使用する新しいタイプのニューラルネットワーク層とモデルが開発されている。 カーネルの重みやバイアスを含む全ての層のパラメータは、0または1に等しい値しか持たない。 バイナリ正規化層を持つモデルは、実際の32ビットパラメータを持つ等価モデルによって得られるほぼ同じ結果を示す。
• 参考スコア（独自算出の注目度）: 1.0934800950965335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing size of large neural network models, specifically language models and foundational image models, poses deployment challenges, prompting efforts to reduce memory requirements and enhance computational efficiency. These efforts are critical to ensure practical deployment and effective utilization of these models across various applications. In this work, a novel type of neural network layers and models is developed that uses only single-bit parameters. In this novel type of models all parameters of all layers, including kernel weights and biases, only have values equal to zero or one. This novel type of models uses layers named as binary normalized layer. These binary normalized layers can be of any type, such as fully connected, convolutional, attention, etc., and they consist of slight variations of the corresponding conventional layers. To show the effectiveness of the binary normalized layers, two different models are configured to solve a multiclass image classification problem and a language decoder to predict the next token of a sequence. The model to solve the image classification has convolutional and fully connected layers, and the language model is composed of transformer blocks with multi-head attention. The results show that models with binary normalized layers present almost the same results obtained by equivalent models with real 32-bit parameters. The binary normalized layers allow to develop models that use 32 times less memory than current models and have equivalent performance. Besides, the binary normalized layers can be easily implemented on current computers using 1-bit arrays, and do not require the development of dedicated electronic hardware. This novel type of layers opens a new era for large neural network models with reduced memory requirements that can be deployed using simple and cheap hardware, such as mobile devices or only cpus.
• Abstract（参考訳）: 大規模ニューラルネットワークモデル、特に言語モデルと基礎画像モデルのサイズが大きくなると、デプロイメント上の課題が発生し、メモリ要件の削減と計算効率の向上が促される。 これらの取り組みは、様々なアプリケーションにまたがってこれらのモデルの実用的展開と効果的な利用を保証するために重要である。 本研究では、単一ビットパラメータのみを使用する新しいタイプのニューラルネットワーク層とモデルを開発する。 この新しいタイプのモデルでは、カーネルの重みやバイアスを含む全ての層のパラメータは、0または1に等しい値しか持たない。 この新しいタイプのモデルでは、バイナリ正規化層と呼ばれるレイヤを使用する。 これらのバイナリ正規化レイヤは、完全な接続、畳み込み、注意など、任意のタイプのもので、対応する従来のレイヤのわずかなバリエーションで構成されている。 バイナリ正規化レイヤの有効性を示すために、複数クラスの画像分類問題と、シーケンスの次のトークンを予測する言語デコーダの2つの異なるモデルを設定する。 画像分類を解くためのモデルは畳み込み層と完全連結層を持ち、言語モデルは多面的注意を持つ変圧器ブロックで構成されている。 その結果、バイナリ正規化層を持つモデルは、実際の32ビットパラメータを持つ等価モデルとほぼ同じ結果を示すことがわかった。 バイナリ正規化レイヤは、現在のモデルより32倍少ないメモリを使用し、同等のパフォーマンスを持つモデルを開発することができる。 さらに、バイナリ正規化レイヤは1ビットアレイを使用して現在のコンピュータで容易に実装でき、専用の電子ハードウェアを開発する必要はない。 この新しいタイプのレイヤは、モバイルデバイスやcpusなど、シンプルで安価なハードウェアでデプロイ可能なメモリ要件を低減した、大規模なニューラルネットワークモデルの新たな時代を開く。

関連論文リスト

• Controlling Rate, Distortion, and Realism: Towards a Single Comprehensive Neural Image Compression Model [4.096453902709292]
  異なるビットレートで画像を圧縮する可変レート生成NICモデルを提案する。 提案手法を取り入れることで,ビットレート,歪み,リアリズムを1つのモデルで調整することができる。 我々の手法は、最先端の単一レート NIC モデルの性能と一致するか、上回っている。
  論文  参考訳（メタデータ） (2024-05-27T04:22:25Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Structured State Space Models for Multiple Instance Learning in Digital Pathology [2.7221491938716964]
  本稿では,デジタル病理学における様々な問題に対して,状態空間モデルを複数インスタンス学習者として用いることを提案する。 転移検出, 癌サブタイプ, 突然変異分類, マルチタスク学習における実験を通じて, この新しいモデルの競争力を実証した。
  論文  参考訳（メタデータ） (2023-06-27T20:38:09Z)
• A priori compression of convolutional neural networks for wave simulators [0.0]
  現在のニューラルネットワークの設計には数百万のパラメータが含まれており、メモリに制限のあるデバイスにそのような複雑なモデルをインストールすることは困難である。 本稿では,ニューラルネットワークのトレーニングに先立って,畳み込み層を圧縮したテンソル形式,先行処理を提案する。 提案手法は,訓練可能なパラメータが少なく,メモリフットプリントも少ない古典的畳み込み層として同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-04-11T04:18:59Z)
• Meta Internal Learning [88.68276505511922]
  単一画像生成のための内部学習は、単一の画像に基づいて新しい画像を生成するようにジェネレータを訓練するフレームワークである。 本稿では,サンプル画像の内部統計をより効果的にモデル化するために,画像集合のトレーニングを可能にするメタラーニング手法を提案する。 以上の結果から, 得られたモデルは, 多数の共通画像アプリケーションにおいて, シングルイメージのGANと同程度に適していることがわかった。
  論文  参考訳（メタデータ） (2021-10-06T16:27:38Z)
• Locally Masked Convolution for Autoregressive Models [107.4635841204146]
  LMConvは標準的な2Dコンボリューションの簡単な修正であり、任意のマスクを画像の各位置の重みに適用することができる。 我々は,パラメータを共有するが生成順序が異なる分布推定器のアンサンブルを学習し,全画像密度推定の性能を向上させる。
  論文  参考訳（メタデータ） (2020-06-22T17:59:07Z)
• Convolutional neural networks compression with low rank and sparse tensor decompositions [0.0]
  畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて顕著な結果を示す。 現実のアプリケーションでは、エッジシステムやモバイルデバイス上で走るのに十分高速で軽量なモデルを開発することが不可欠である。 本研究では,テンソル分解に基づくニューラルネットワーク圧縮手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T13:53:18Z)
• Evolving Normalization-Activation Layers [100.82879448303805]
  我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。 EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。 我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
  論文  参考訳（メタデータ） (2020-04-06T19:52:48Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。