論文の概要: Light Differentiable Logic Gate Networks

• arxiv url: http://arxiv.org/abs/2510.03250v1
• Date: Fri, 26 Sep 2025 04:44:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-12 15:03:05.799197
• Title: Light Differentiable Logic Gate Networks
• Title（参考訳）: 光微分可能な論理ゲートネットワーク
• Authors: Lukas Rüttgers, Till Aczel, Andreas Plesner, Roger Wattenhofer,
• Abstract要約: 微分論理ゲートネットワーク(DLGN)は、競合精度を保ちながら、推論において極めて効率が高い。 しかし、勾配の消失、離散化エラー、高いトレーニングコストは、これらのネットワークのスケーリングを妨げる。 これらの問題の根本原因は論理ゲートニューロン自体のパラメトリゼーションにあることを示す。
• 参考スコア（独自算出の注目度）: 28.844098517315228
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Differentiable logic gate networks (DLGNs) exhibit extraordinary efficiency at inference while sustaining competitive accuracy. But vanishing gradients, discretization errors, and high training cost impede scaling these networks. Even with dedicated parameter initialization schemes from subsequent works, increasing depth still harms accuracy. We show that the root cause of these issues lies in the underlying parametrization of logic gate neurons themselves. To overcome this issue, we propose a reparametrization that also shrinks the parameter size logarithmically in the number of inputs per gate. For binary inputs, this already reduces the model size by 4x, speeds up the backward pass by up to 1.86x, and converges in 8.5x fewer training steps. On top of that, we show that the accuracy on CIFAR-100 remains stable and sometimes superior to the original parametrization.
• Abstract（参考訳）: 微分論理ゲートネットワーク(DLGN)は、競合精度を保ちながら、推論において極めて効率が高い。 しかし、勾配の消失、離散化エラー、高いトレーニングコストは、これらのネットワークのスケーリングを妨げる。 後の作業からの専用パラメータ初期化スキームであっても、深さの増大は精度を損なう。 これらの問題の根本原因は論理ゲートニューロン自体のパラメトリゼーションにあることを示す。 この問題を克服するために、ゲート当たりの入力数でパラメータサイズを対数的に縮小する再パラメータ化を提案する。 バイナリ入力では、モデルのサイズを4倍に減らし、後方パスを最大1.86倍に高速化し、8.5倍のトレーニングステップで収束する。 さらに, CIFAR-100の精度は安定であり, 元のパラメトリゼーションよりも優れていた。

関連論文リスト

• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Convolutional Differentiable Logic Gate Networks [68.74313756770123]
  本稿では,論理ゲートネットワークを微分緩和により直接学習する手法を提案する。 私たちはこのアイデアに基づいて、深い論理ゲートツリーの畳み込みと論理ORプーリングによってそれを拡張します。 CIFAR-10では、6100万の論理ゲートのみを使用して86.29%の精度を実現し、SOTAよりも29倍の精度で改善した。
  論文  参考訳（メタデータ） (2024-11-07T14:12:00Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Error mitigation, optimization, and extrapolation on a trapped ion testbed [0.05185707610786576]
  ゼロノイズ補間(ZNE)と呼ばれる誤差軽減の形式は、必要なキュービット数を増やすことなく、これらのエラーに対するアルゴリズムの感度を低下させることができる。 本稿では,この誤差軽減手法を変分量子固有解法(VQE)アルゴリズムに統合するための様々な手法について検討する。 本手法の有効性は, デバイスアーキテクチャの適切な実装を選択することによる。
  論文  参考訳（メタデータ） (2023-07-13T19:02:39Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Optimizing Rydberg Gates for Logical Qubit Performance [0.0]
  我々は、2つの一般的な主要な欠陥に対して堅牢な中性原子量子ビットに対するリドベルク遮蔽ゲートの族を提示する。 これらの門は、中等度または大規模な不備のために既存の門より優れている。 その結果、中性原子を用いたフォールトトレラント量子コンピューティングを実現するために、レーザー安定性と原子温度要件を著しく低減した。
  論文  参考訳（メタデータ） (2022-10-13T10:04:08Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。