論文の概要: Light Differentiable Logic Gate Networks

• arxiv url: http://arxiv.org/abs/2510.03250v1
• Date: Fri, 26 Sep 2025 04:44:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-12 15:03:05.799197
• Title: Light Differentiable Logic Gate Networks
• Title（参考訳）: 光微分可能な論理ゲートネットワーク
• Authors: Lukas Rüttgers, Till Aczel, Andreas Plesner, Roger Wattenhofer,
• Abstract要約: 微分論理ゲートネットワーク(DLGN)は、競合精度を保ちながら、推論において極めて効率が高い。 しかし、勾配の消失、離散化エラー、高いトレーニングコストは、これらのネットワークのスケーリングを妨げる。 これらの問題の根本原因は論理ゲートニューロン自体のパラメトリゼーションにあることを示す。
• 参考スコア（独自算出の注目度）: 28.844098517315228
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Differentiable logic gate networks (DLGNs) exhibit extraordinary efficiency at inference while sustaining competitive accuracy. But vanishing gradients, discretization errors, and high training cost impede scaling these networks. Even with dedicated parameter initialization schemes from subsequent works, increasing depth still harms accuracy. We show that the root cause of these issues lies in the underlying parametrization of logic gate neurons themselves. To overcome this issue, we propose a reparametrization that also shrinks the parameter size logarithmically in the number of inputs per gate. For binary inputs, this already reduces the model size by 4x, speeds up the backward pass by up to 1.86x, and converges in 8.5x fewer training steps. On top of that, we show that the accuracy on CIFAR-100 remains stable and sometimes superior to the original parametrization.
• Abstract（参考訳）: 微分論理ゲートネットワーク(DLGN)は、競合精度を保ちながら、推論において極めて効率が高い。 しかし、勾配の消失、離散化エラー、高いトレーニングコストは、これらのネットワークのスケーリングを妨げる。 後の作業からの専用パラメータ初期化スキームであっても、深さの増大は精度を損なう。 これらの問題の根本原因は論理ゲートニューロン自体のパラメトリゼーションにあることを示す。 この問題を克服するために、ゲート当たりの入力数でパラメータサイズを対数的に縮小する再パラメータ化を提案する。 バイナリ入力では、モデルのサイズを4倍に減らし、後方パスを最大1.86倍に高速化し、8.5倍のトレーニングステップで収束する。 さらに, CIFAR-100の精度は安定であり, 元のパラメトリゼーションよりも優れていた。

関連論文リスト

• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Convolutional Differentiable Logic Gate Networks [68.74313756770123]
  本稿では,論理ゲートネットワークを微分緩和により直接学習する手法を提案する。 私たちはこのアイデアに基づいて、深い論理ゲートツリーの畳み込みと論理ORプーリングによってそれを拡張します。 CIFAR-10では、6100万の論理ゲートのみを使用して86.29%の精度を実現し、SOTAよりも29倍の精度で改善した。
  論文  参考訳（メタデータ） (2024-11-07T14:12:00Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Error mitigation, optimization, and extrapolation on a trapped ion testbed [0.05185707610786576]
  ゼロノイズ補間(ZNE)と呼ばれる誤差軽減の形式は、必要なキュービット数を増やすことなく、これらのエラーに対するアルゴリズムの感度を低下させることができる。 本稿では,この誤差軽減手法を変分量子固有解法(VQE)アルゴリズムに統合するための様々な手法について検討する。 本手法の有効性は, デバイスアーキテクチャの適切な実装を選択することによる。
  論文  参考訳（メタデータ） (2023-07-13T19:02:39Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Efficient Parametric Approximations of Neural Network Function Space Distance [6.117371161379209]
  モデルパラメータとトレーニングデータの重要な特性をコンパクトに要約して、データセット全体を保存または/または反復することなく後で使用できるようにすることが、しばしば有用である。 我々は,FSD(Function Space Distance)をトレーニングセット上で推定することを検討する。 本稿では、線形化活性化TRick (LAFTR) を提案し、ReLUニューラルネットワークに対するFSDの効率的な近似を導出する。
  論文  参考訳（メタデータ） (2023-02-07T15:09:23Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Hardware optimized parity check gates for superconducting surface codes [0.0]
  誤り訂正符号は、フォールトトレラントな量子論理ステップを実現するために、マルチキュービットの測定を使用する。 超伝導トランスモン量子ビット間の多体相互作用に基づく非従来型表面コードの解析を行う。 このアプローチの基盤となる多体効果にもかかわらず、論理的欠点を推定すると、この設計は従来の設計に比べて少なくとも現実的な雑音に対して堅牢である可能性が示唆されている。
  論文  参考訳（メタデータ） (2022-11-11T18:00:30Z)
• Optimizing Rydberg Gates for Logical Qubit Performance [0.0]
  我々は、2つの一般的な主要な欠陥に対して堅牢な中性原子量子ビットに対するリドベルク遮蔽ゲートの族を提示する。 これらの門は、中等度または大規模な不備のために既存の門より優れている。 その結果、中性原子を用いたフォールトトレラント量子コンピューティングを実現するために、レーザー安定性と原子温度要件を著しく低減した。
  論文  参考訳（メタデータ） (2022-10-13T10:04:08Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。